跳至正文

「注意力」作为跨域概念的大体检

目录

母裁决(五层硬度光谱,硬→软):层一·各域内硬核操作真而硬——Transformer 的 QKV softmax 是确定可微的运算、生物选择性注意有可测的行为与神经效应、哲学注意的选择性是第一人称无可否认的,但这三种「真」是三种异质的硬,把它们读成一种真,第一层自己就在犯同名假设同物的病;层二·受限域结构对照硬而有效性待判——softmax 与 divisive normalization 写得出逐项比对,但「它们是不是同一个算子」恰恰是本篇要审的猎物,不能当地基;层三·机制层共享的功能类比半硬、主菜支点——三域都在做「按相关性重新分配增益 / 资源」,有可对照的因果角色,但关键处断裂在容量瓶颈;层四·命名实在论软——用「都叫 attention」当机制同一的证据,是认识论错误,借回这个历史动作正是从这里把误读泵向口号层;层五·隐喻口号软而双向、上红线——升格派喊「注意就是意识 / Transformer 就是大脑」,虚无派喊「根本没有注意这回事」,两端都让那个借来的名字替自己做了裁决。

这是「机制裁决」红队风第三十七篇、对称双向红队第三十二篇,是 GLM 方法论自指三连(有效理论 vs 本体论 的自我豁免越界、同名不同物 的共名越界、跨域类比 的类比升格越界)铸好两把元尺之后的对象级落地,也是 Codex⑨ B1「方法论封顶」的核心预制件。

这一篇不再造尺,它把两把刚磨好的尺同时落到一个词上。 「attention / 注意」是这条主线被滥用得最频繁的同名不同物词之一——它同时是 Transformer 的核心运算、是神经科学百年研究的选择性机制、是哲学对意识与能动性的追问。三者共享一个拼写,却几乎是三个不同的东西。更要命的是,这个名字有一段别的同名碰撞没有的历史:Transformer 的「attention」是从人类注意来命名的隐喻,因工程上的巨大成功,又被借回神经科学与意识科学,当成「Transformer 揭示了 / 就是大脑注意」乃至「注意就是意识」的证据。一个借出去的隐喻,被产业化之后反向实在论化。本篇用「同名不同物」的判级阶梯和「跨域类比」的判级三问,给这个三域词逐项称重——两个方向都审:既审「都叫 attention 所以是同一机制」的升格,也审「根本没有注意这回事」的虚无。


〇 母裁决·五层硬度光谱

「attention」跨域,不是「像不像」一句话、而是一条有刻度的轴:那个共享的名字,到底担保了多少东西能从一个域迁移到另一个域?许可从满到零,分五层。[原创嫁接](五层切法是把 同名不同物篇 的判级阶梯、跨域类比篇 的判级三问,合成落到 attention 这一个对象上的脚手架,不是单篇文献既有的标准量表,详见第〇节末作者声明。)

在说什么(三域对照透镜) 认识论地位 软在哪(承重点)
① 各域内硬核操作·最硬 三域各自的操作是真的,但是三种异质的硬:Transformer 的 QKV softmax 是确定可微运算(数学 / 工程硬);生物选择性注意有可测可复制的行为神经效应(Posner 线索化、Treisman 搜索、V4 增益,经验 / 现象硬);哲学注意的选择性是第一人称无可否认的(现象学硬) 各域内·真 软在「三种真不是一种真」——若把三种「硬」读成一种「硬」,第一层自己就在做同名假设同物的 jingle [文献较稳]
② 受限域结构对照·硬·有效性待判 拿得出可逐项比对的受限域结构对照、但「是否同一算子」本身待判:softmax(指数归一化、投影到概率单纯形)与 Reynolds-Heeger 的 divisive normalization(响应除以邻域池加权和、不投单纯形、会饱和)共享「归一化 / 竞争 / 增益控制」抽象、不共享算子形式 受限域·对照可写·同一性待判 软在「可比对 ≠ 是同一个」——把受限域对照当成同一算子,是升格的第一个滑点 [一手逐字]
③ 机制层共享的功能类比·主菜支点 没有完整同构,但三域都在做「按相关性重新分配增益 / 资源」,有可对照的因果角色 带条件迁移,断裂可标 软在「机制相似处迁移、瓶颈处断裂」——三域在「容量」这一最核心属性上方向并不一致,断裂必须标出来 [原创嫁接/有争议]
④ 命名实在论·软 命名同源当机制同一的证据——「它们都叫 attention,所以揭示同一机制」,这是认识论错误 命名同源,迁移许可近零 软在「命名同源读成机制同一 = 共名越界偷换」;借回阀门在此——工程成功被读成机制证据,正是从这层把误读泵向口号层 [我们的断言]
⑤ 隐喻口号·最软·双向 (升格向)实在论越界「注意就是意识 / Transformer 就是大脑 / Attention Is All You Need」;(虚无向)「根本没有注意这回事」过度降格各域内的可测效应 隐喻口号(双向),上红线 软在两端都让那个借来的名字替自己裁决——升格派把外推骑到拼写上,虚无派把可测的行为神经效应一并注销 [理论整合/我们的断言]

这张表怎么读:硬度不是名字给的,是定理 / 受限对照 / 因果机制挣来的。从层一到层四,是同一根「三域共享接地强度」轴上的四个刻度——那个名字背后接地越深(有受限域结构对照、有共享因果机制),跨域迁移的许可越大;接地为零(只剩共享一个拼写)时,许可也为零。特别地,层一最硬却跨域许可最低:三域各自都真,但「真」是三种异质的真,恰恰因为如此,「都叫 attention」不担保任何东西能跨过去。层五是这根轴塌成口号的两个反方向:升格把零许可吹成无限许可,虚无把满许可压成零许可。把层三设成主菜支点——三域确实共享「按相关性重分配资源」这条功能机制,它不是次品,但它的断裂处(容量瓶颈)是本篇最锋利的一刀。表已经预告了脊柱的两根轴。

作者声明(诚实定界,置于最前):本篇审的三域 attention,是三个不同的 construct(Transformer 的可微运算、神经科学的选择性机制、哲学的现象学概念),把它们放在一张表里对照、本身是一次跨域类比——这一点在第九节现行犯刀里自审。五层光谱、连同下文命门二的「三域对照三问」,是把 同名不同物篇跨域类比篇 两把尺合成落到 attention 上的作者脚手架,不是哪一篇文献既有的量表。各域的具体机制(Transformer / 生物注意 / 注意哲学)各自让位原领域文献,本篇只称重。


一 承重墙·八柱

开审之前先砌墙。前两柱是去污染弹头,必须打头,否则这一篇极易被读成它最想反对的两种东西——「凡跨域用 attention 皆是滥用」(虚无),或「我们在替某一域抢『真注意』的正典地位」(升格)。

  1. 去污染弹头·射程声明 [我们的断言]:本篇审的是「attention」跨三域共名的迁移许可与双向误用,不裁哪个意识理论对、不碰 attention 权重能不能解释模型行为。Transformer 内部 attention head 的可解释性之战、意识难问题、贝叶斯大脑对不对,那些各自成篇或让位,本篇只称重。
  1. 去污染弹头·不连坐 / 非虚无(双向) [我们的断言]:审「共名误用」不等于「禁用 attention 一词」。指出三域 attention 同名不同物,不等于说它们之间毫无联系——命名是有历史渊源的、有受限域的真对照、AST 还给了可检验的桥。升格的错(注意 = 意识)与虚无的错(根本没有注意)是对称的两个错,本篇两个都防。审一个词的误用 ≠ 废这个词。
  1. 三域机制墙(承重) [文献较稳]:三域各自是真传统、非修辞。Transformer attention(Bahdanau 2014Vaswani 2017)是确定的工程机制;生物注意(Broadbent 1958 → Treisman & Gelade 1980Desimone & Duncan 1995Reynolds & Heeger 2009Posner 1980)是百年实验传统;哲学注意(James 1890 以降的注意哲学)是真问题。详见命门三与命门四。
  1. 让位墙 [文献较稳]:判级尺让位 同名不同物跨域类比(本篇只挥不铸);attention 权重能否解释模型行为让位 机制可解释性篇(06-06)Jain & Wallace 2019 那场域内之战);哪个意识理论对让位 意识理论篇(06-08);attention = 精度加权让位 预测加工篇(06-12)。这些都是本篇的数据点,本篇火力放在「这个名字跨域合不合法」,不接管它们的活。
  1. 跨域综述墙(承重) [文献较稳]:三域 attention 的对照不是本篇凭空起意——Grace Lindsay 2020《Attention in Psychology, Neuroscience, and Machine Learning》Front Comput Neurosci 14:29 已经做过 AI × 神经科学的系统对照,是真靠山。本篇站在她肩上、多加了一个判级维度和哲学层,不是洗稿(划界见命门四与留痕)。
  1. 判级三问墙(承重·主菜预制) [原创嫁接/有争议]:三域对照三问(有没有干净字典 / 有没有共享结构与机制 / 有没有兑现的新预测)是一把可操作的判级工具——技术区分、非修辞。详见命门二。
  1. 共名无担保墙 [我们的断言]:共享一个拼写不担保共享一个机制。迁移许可来自共享结构、共享因果、兑现的预测,不来自「都叫 attention」
  1. 借出-借回墙(承重·灵魂句预制) [理论整合]:借出是合法的隐喻命名(Bahdanau 自知是 align 的比喻),借回是非法的实在论化(拿工程成功当大脑机制证据),分界点正是「工程成功被读成机制证据」。本篇审的是这道泵,且不自封「哪一域才是真注意」。

二 脊柱·三域共享强度 G × 借贷方向 D 十字

母裁决的五层硬度,本质是两根正交轴的投影。把它们拉成十字,就看清了「attention」跨域的合法停泊区和两个危险区。和前篇不同的是,这一篇的第二根轴不是静态的「处置」,而是动态的「借贷方向」——因为 attention 这个名字一直在三域之间流动。

轴一=三域共享强度 G:从「纯共名(零接地)」滑到「共数学结构(满接地)」。这是认识论维度——三域的 attention 实际上有多像(有没有受限域结构对照、有没有共享因果机制)。它该由证据决定,不由谁的立场决定。

轴二=借贷方向 D:从「借出·隐喻命名(自知是比喻、当待查砝码)」滑到「借回·实在论化(当机制证据搬运)」。这是历史 / 动力学维度——那个名字此刻在往哪个方向流,处置态度跟着往哪走。

四个象限:

  • 诚实隐喻区(弱共享 + 借出)=合法。Bahdanau 2014 当年说模型「像注意一样对齐」时,自知这是个比喻——他论文正文主用的词其实是 align / soft-search、模型叫 RNNsearch。借出方向、谦虚使用,没毛病。
  • 最危险红线区(弱共享 + 借回)=本篇主猎物。共享其实弱,却因工程成功把名字借回去当大脑 / 意识机制的证据——「Transformer 揭示了大脑注意」「注意就是意识」。这是命名实在论的家。
  • 合法增量区·主菜支点(强共享 + 借出)=softmax 与 divisive normalization 的受限域对照,当成待查的桥谦虚使用(「这里有一个可逐项比对的结构对照,去查它在哪成立、在哪断」)。
  • 审慎搬运区(强共享 + 借回)=强共享被坐实后审慎搬运,是理想态——但目前 attention 几乎没有命题住得进来。这个右上角的空,本身就是母命题诚实降格版的视觉证明。

反讽锚·对角断层线:容量瓶颈断裂横切整个坐标系。无论共享强弱、无论借哪个方向,三域在「容量」这一最核心属性上方向并不一致——Bahdanau 2014 的 attention 是为消除固定长度向量这个瓶颈而生的,而生物注意的整个理论传统(Broadbent 的过滤器、Treisman 的特征整合)以容量受限为定义性前提,哲学注意(James)的选择性 = 排他性 = 受限。这条裂缝不属于某一格,它是划穿整个十字的断层线,比锚在一个角上更狠(命门三正面展开)。

核心五刀(每刀对三域各砍一次):

  • 同源刀:这个名字是借来的吗、借出方是谁、自知是隐喻否?(是——人类注意 → Bahdanau / Vaswani,且 Bahdanau 自知是 align 的比喻,层四 / 命门一);
  • 算子刀:去掉名字,底层算子 / 神经操作是同一个吗?(softmax 单纯形 ≠ divisive normalization ≠ 现象学选择,三个不同算子,层二 / 命门二问二);
  • 瓶颈刀:这个机制的「容量」是被设计来扩张、还是被定义为受限,方向一致吗?(Transformer 消瓶颈、生物注意定义性受限——设计意图层方向相反,反讽锚 / 命门三);
  • 解离刀:把名字指的两个东西强行掰开,它们会各自独立变化吗?(Koch & Tsuchiya 2007 证注意与意识可双向解离——能掰开,所以「注意 = 意识」先死,命门一 / 命门四);
  • 兑现刀:借回名字之后,可证伪的新预测兑现了吗?(弱阳性——有少量神经编码预测,但远不到「揭示 / 就是」级;此刀即跨域类比篇 Hesse neutral 之尺,本篇只挥不铸,层三 / 命门二问三)。

胎记·性质差异有效理论篇 的胎记是自我豁免越界(规则对自身、单向升格);同名不同物篇 的胎记是共名越界(把共享的拼写读成共享的指称、双向、是对象级胎记的语言学引擎);跨域类比篇 的胎记是类比升格越界(把功能类比 / 隐喻读成同构、是结构映射引擎)。本篇不立新胎记——它是前两条元级胎记同时点火的教科书对象:「都叫 attention」是共名越界(语言学引擎),「Transformer 揭示大脑注意」是类比升格越界(结构映射引擎)。attention 独有的、前两篇结构上没有的,是第三个面——命名隐喻的反向实在论化(reverse reification of a naming metaphor):一个从 B 域(人类注意)借来命名 A 域(Transformer)机制的隐喻,因 A 域工程成功被读回 B 域当成「A 揭示了 B 的机制」。借出 → 膨胀 → 借回的闭环,是一段静态同名碰撞没有的时间结构——称量过程中,对象还在动。


三 命门一·借出-借回闭环史

第一刀回答「这个名字从哪来、又怎么变了味」。它必须打头,因为这是别篇没有的动态结构——一段名字在三域间流动、且处置态度跟着改变的活历史。四拍:

第一拍·借出。 Bahdanau, Cho & Bengio 2014《Neural Machine Translation by Jointly Learning to Align and Translate》(arXiv:1409.0473 / ICLR 2015) 引入了后来被称作 attention 的机制——但这篇论文正文主用的词不是 attention,而是 align / alignment / (soft-)search,模型叫 RNNsearch(本人核 arXiv 摘要页:alignment 出现 3 次、fixed-length vector 出现 6 次,attention 一词全文仅 3 次、挤在 §3.1)。它解决的问题,论文摘要逐字说得很清楚——[一手逐字]

“we conjecture that the use of a fixed-length vector is a bottleneck in improving the performance of this basic encoder–decoder architecture, and propose to extend this by allowing a model to automatically (soft-)search for parts of a source sentence that are relevant…”

「bottleneck(瓶颈)」是 Bahdanau 自己的词,而这个机制恰恰是为了消除它而生的。 记住这一点——它是本篇反讽锚的弹药源头。

第二拍·取名。 「attention」这个名字的归属,是一桩必须以三重转述呈现、绝不能写成定论的小公案[需亲核] 据 Andrej Karpathy 2024 年公开转述 Bahdanau 的邮件回忆,「attention」一词是 Yoshua Bengio 后期提议替换 RNNsearch 的。这是 Karpathy 转述 Bahdanau 转述 Bengio——缺 Bengio 本人的一手确认;更要命的是,Bahdanau 回忆说 Bengio「把 attention 加进结论」,但已发表的 ICLR 2015 终稿结论里根本没有 attention 一词。所以连这条口述史本身都和终稿有出入,只能写成「据回忆、存疑」,绝不能写成「Bengio 命名了 attention」。 这一条是全篇引用的最高危单点,本篇严标。

第三拍·升格。 Vaswani et al. 2017《Attention Is All You Need》(NeurIPS 2017) 把 attention 从「RNN 的附加件」升格成唯一架构——摘要逐字「a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely」。[一手逐字] 注意它自己承认「最好的模型早已通过 attention 连接 encoder / decoder」——attention 是既有件,本文的贡献是那个「only」。是 Bahdanau 引入、Vaswani 升格,两件事别糊在一起。

第四拍·借回。 工程上的成功,让这个名字被借回神经科学与意识科学。有论文提议皮层-丘脑环路「实现一种类似多头自注意力的计算」,有工作主张加了循环位置编码的 Transformer 能复现海马的空间表征——但要标清楚:最强的那句「海马基本上就是一个伪装的 Transformer」是科普媒体的措辞、不是论文作者的原话,论文本身用的是 recapitulate / mathematically equivalent 这类克制的词。而最该并陈的反方,恰恰来自跨域综述的权威 Lindsay 本人 [一手逐字]

“self-attention has less in common with biological attention than the recurrent attention models originally used for machine translation.”(Lindsay 2020

也就是说:恰恰是 Transformer 的 self-attention,比早期翻译用的注意力更不像生物注意。借回方向越走越远,而最懂三域对照的人在踩刹车。

命门一裁决:借出是合法的隐喻命名(Bahdanau 自知是 align 的比喻),借回是非法的实在论化(拿工程成功当大脑机制的证据),分界点正是「工程成功被读成机制证据」。这个名字的生命周期,就是一座桥从「诚实隐喻区」被工程成功推进「最危险红线区」的过程。


四 命门二·三域对照判级三问(★主菜★)

光说「小心 attention 被滥用」是没用的虚无;真正有用的,是一把判级的尺:拿三域的 attention 两两对照,判它们之间到底 license 多少东西迁移。主菜把前两篇的两把尺合成一个三问流程[原创嫁接]

问一:三域有没有干净的相互翻译字典?(来自同名不同物篇) Transformer 的 Q / K / V → 神经的选择性增益 → 现象学的选择性,能写出系统的翻译词典吗?答:只在受限的片段能写,全局不能。能把「query 与 key 的点积」对到「自上而下偏置与刺激驱动的匹配」一小段,但 Transformer 没有现象学、没有第一人称,哲学注意没有可微参数——字典在大多数词条上是空的。

问二:除了名字,有没有共享的数学结构和共享的因果机制?(来自跨域类比篇) 这是主菜里最硬的一问,答案要分两层:

  • 数学结构:有一个受限域对照,但它不是同一个算子[一手逐字] softmax 是指数归一化、投影到概率单纯形(输出非负、和为 1);Reynolds & Heeger 2009 建模生物注意用的 divisive normalization 是「the stimulus drive from a preferred stimulus is normalized with respect to (divided by) the activity in other neurons」——响应除以邻域池加权和、不投单纯形、带半饱和常数会饱和。两者共享「归一化 / 竞争 / 增益控制」抽象(Carandini & Heeger 2012 把它提为通用计算原语),但算子形式不同——softmax 至多是 divisive normalization 的一个单向特例,不是等同。把这层对照说成「softmax 就是大脑的归一化」,就是层二的升格。
  • 因果机制:不共享。硅基这边是矩阵乘 + softmax,碳基那边是神经增益调制 + 神经递质,Lindsay 2020 的 feature similarity gain model 说生物注意按神经元调谐相似度做乘性增益调制——机制层只是功能上都「按相关性重分配资源」,底层因果通路完全不同,而且在容量这件事上方向还相反(命门三)。

问三:借回名字之后,兑现过可证伪、被独立验证的新预测吗?(来自跨域类比篇 Hesse neutral) 答:弱阳性、非零。最好的实例是 Lindsay & Miller 2018《How biological attention mechanisms improve task performance in a large-scale visual system model》eLife 7:e38105——在 VGG-16 视觉模型里植入特征相似度增益注意,复现了与实验相符量级的神经调制和行为变化,并提出了可检验的新预测(基于调谐的注意在早层传播差)。但这是「把生物模型导入深网复现已知效应 + 提一条尚未被决定性验证的新预测」,远不是「Transformer attention 揭示了大脑注意的机制」。借回不是零兑现,但也远没到「揭示 / 就是」。

主菜的杀招·三域非传递性。 把三问的结果摆在一起,逐对判级会看到一个关键现象:

  • Transformer ↔ 大脑:中等——有受限域结构对照(softmax / divisive normalization)、有功能机制类比,但核心断裂在容量瓶颈;
  • 大脑 ↔ 哲学:中等偏弱——James 的统一直觉 vs 神经科学的分裂(alerting / orienting / executive 三网络),且注意与意识可解离;
  • Transformer ↔ 哲学:最弱——以共名 / 松类比为主,几乎没有可坐实的结构或机制对应。

A 像 B、B 像 C、A 却几乎不像 C——相似性破了传递。 如果「共享同一个名字」真等于「是同一个东西」,相似性就该可传递。它不可传递,本身就是「共名不是机制」的内生证明。而这个证明只有在三域同时在场时才显现——前两篇每次只碰两域,结构上看不到非传递。这是本篇区别于「又一道应用题」的、真正独占的一刀。(诚实降格:Transformer ↔ 哲学这一腿写「以共名 / 松类比为主」、不写「纯共名零对应」——功能主义少数派会反推「若把信息选择当注意的功能内核,Transformer 也在做真选择」;只要这一腿是「弱」而非「零」,破传递的结论仍然成立,因为相似性本就非传递。)

主菜裁决:三问把「attention 跨域」从一句「像不像」变成一把有刻度的尺。那个共享的名字 license 的迁移,等于三域在三问上挣到的东西——一分不多、一分不少。与前两篇的让位:问一是同名不同物篇的「字典」之尺、问二问三是跨域类比篇的「结构 / 机制 / 新预测」之尺,本篇只挥不铸。本篇真正的独占增量,是把这两把尺同时落到 attention 一个对象上、称出了三域非传递性这件前两篇结构上称不出的东西。


五 命门三·容量瓶颈反讽的机制解剖

这一刀把脊柱的反讽锚正面展开——它是本篇最锋利、也最该小心别夸大的一刀。

瓶颈在三域的角色,逐一坐实。 工程这边:Bahdanau 2014 明文说固定长度向量是 bottleneck,attention 是为消除它而生。生物这边:注意的整个理论传统以容量受限为定义性前提——Broadbent 1958《Perception and Communication》的过滤器模型把神经系统当成「有限容量的单通道」,Treisman & Gelade 1980 的特征整合理论说特征捆绑需要串行分配的集中注意,Desimone & Duncan 1995 的偏向竞争说多个刺激在容量受限的系统里竞争神经表征。哲学这边:James 1890 的名句下半句强调的正是「withdrawal from some things in order to deal effectively with others」——选择性 = 排他性 = 受限。

所以设计意图层方向相反:工程 attention 生来要消除瓶颈,生物 / 哲学注意以瓶颈为定义。这是有 Bahdanau 原话铁证的、干净的反讽。

但要诚实降格、别把它夸成机制层的干净对立。 [有争议] 真相更精细、也更有意思:softmax 本身就是一种竞争性的、容量受限的选择——注意力权重和归一为 1,所有 token 在一个固定预算里相互竞争,这是一个软瓶颈、一种 winner-take-(more) 的归一化竞争。而那套「响应除以池总和」的归一化-竞争数学,恰恰就是 Reynolds-Heeger 用来建模生物注意的 divisive normalization 同族。于是出现一个双层反讽:

工程「注意」为逃离一个架构瓶颈(单一定长向量)而生,手段却是引入另一种软的、竞争性的选择机制(softmax);而那套归一化-竞争的数学,正是描述生物注意所用的那一族。它在逃离一个瓶颈的同时,复刻了另一个域用来定义注意的那套竞争数学。 共享拼写、在「容量」的设计意图上方向相反、却又在归一化-竞争的算子抽象上意外汇合——这正是为什么「借回」既不是全错(确有受限域真对照)、也不能当机制揭示(设计意图与因果通路都不同)。

顺带收编第七个房间里的大象——precision-weighting。 [文献较稳] 预测加工 / 自由能这一脉,把 attention 又借给了「贝叶斯大脑」:Feldman & Friston 2010《Attention, Uncertainty, and Free-Energy》Front Hum Neurosci 4:215 主张「attention is the inference about the uncertainty (precision) of those causes」——注意 = 优化预测误差的精度加权。这是把 attention 在单一碳域内部又实在论化了一次的第三条通道,恰好佐证本篇的论点:这个名字负载过重,连在一个域里都被多重实在论化。本篇把它当「借名通道」的样本引用,不采纳自由能框架本身、不裁决精度加权对错(让位 预测加工篇)。

命门三裁决:三域共享拼写,在「容量」这一最核心属性的设计意图上方向相反(消瓶颈 vs 定义性受限),故「借回」在最关键处必然失真;但诚实地说,这是设计意图层的方向反转、不是计算层的干净对立——归一化-竞争的数学在工程与生物之间意外汇合,这让受限域对照(层二)成立、也让「Transformer 就是大脑注意」(层四 / 层五)依然越界。


六 命门四·域内 jangle 与虚无端

前三刀主要在「升格」一侧(命名同源被读成机制同一)。这一刀转向防虚无的 B 端,也转向一个更深的怀疑:在跨域 jingle 之前,「注意」这个词在自己域内部,到底有没有一个稳定的所指?

域内 jangle:心理学自己也在吵「有没有注意这回事」。 [有争议] Britt Anderson 2011《There is no Such Thing as Attention》Front Psychol 2:246务必是 Waterloo 的 Britt Anderson,不是 ACT-R 的 John R. Anderson——高危混淆点)给了三诊断逐字:「(1) we create spurious dichotomies, (2) we reify attention, treating it as a cause, when it is an effect, and (3) we equate a collection of facts with a theory.」他把被当成原因的「注意」叫心理燃素(mental phlogiston)——一个「makes neat work of our results」却遮蔽真实机制的中介项。Hommel et al. 2019《No one knows what attention is》Atten Percept Psychophys 81(7):2288–2303(六作者立场综述)则指出,「注意」一词同时被当作 explanandum(待解释项)和 explanans(解释项),于是解释沦为伪解释。

但调门要区分清楚,别混。 [多源交叉] Anderson 2011 标题最挑衅(「根本没有」),但正文处方其实是「换一套技术词汇、让注意效应作为理论的后果产出」——破中带立;Hommel 2019 标题温和(「没人知道」),处方反而更激进——逐字「the term ‘attention’ should be abandoned」「a complete dismantling of the concept of attention is required」。标题挑衅度与处方激进度在这两篇里是反着的,这是最容易混调的陷阱。按激进程度排:Anderson 2011(改造词汇)< Hommel 2019(废弃术语)≈ Anderson 2023《Stop paying attention to “attention”》。

哲学纵深:这个怀疑有十九世纪的祖宗。 F. H. Bradley 1886《Is There Any Special Activity of Attention?》Mind os-XI(43):305–323(绝对论唯心论哲学家 Francis Herbert Bradley)早就质疑「注意」是不是一种独立的心理活动——被贴这个标签的现象太多太杂。[需亲核](Bradley 原文 thesis 逐字本篇未取到一手、付费墙挡,立场据二手转述。)有意思的是,Bradley 这篇 1886 比 James 1890 的「everyone knows」还早四年——怀疑与笃定,从一开始就并存。

B 端钉死:虚无端对各域内的可测效应过度降格、同样上红线。 [文献较稳] 「没人知道注意是什么」不等于「根本没有注意这回事」。Posner 1980 的线索化范式给出注意有可测量、可复制的行为效应(有效线索处反应更快),Treisman 的搜索斜率、V4 的增益调制都是硬的经验现象(层一)。Anderson / Hommel 拆的是「注意作为单一自然类 / 统一神经系统」这个理论建构,不是拆这些可复现的效应本身。把域内 jangle(这个词指称不稳)读成「注意现象不存在」,是虚无端对层一的过度降格。

顺带处理另一个最该划清的撞车——注意 ≠ 意识。 [一手逐字] Koch & Tsuchiya 2007 用「dissociations」(解离,不是「无关」)证注意与意识是「distinct phenomena that need not occur together」:人能在「near absence of top-down attention」下对场景要点产生意识,也能「attend to perceptually invisible objects」;2012 续篇调成「related yet different」,Lamme 2003 持正交立场。这条解离正是解离刀的砝码——它让「注意就是意识」这个最大的跨域升格先死。而把注意实在论化为意识基础的 Graziano & Webb 2015 注意图式理论(AST)(注意:作者序是 Graziano 在前),本篇当成「一个把注意实在论化的争议性理论标本」双刃引用、不背书——AST 自陈「the brain therefore constructs a schematic model of the process of attention, the ‘attention schema,’ in much the same way that it constructs a schematic model of the body, the ‘body schema’」、并给出可检验预测「without awareness, attention should still be possible but should suffer deficits in control」,这是它作为标本的价值;但它是少数派理论、被批评回避意识难问题,且它常被引的 TPJ / 心理理论神经基础其实出自 Wilterson et al. 2021 PNAS、不在 2015 这篇(本人核 2015 全文:temporoparietal / theory of mind 零命中——这是一处常见的张冠李戴,本篇标清)。

命门四裁决:跨域的 jingle(「都叫 attention 所以是同一机制」)之前,先有域内的 jangle(「注意」在心理学内部就既是被解释项又是解释项)。双向红队的 B 端钉死:既不能升格「注意 = 意识 = Transformer」,也不能虚无「根本没有注意这回事」——Posner / Treisman 的可测效应是硬的,虚无端对它的注销同样脱靶。


七 灵魂句·「人人都知道」与「没人知道」之间隔着一个世纪

William James 1890 开篇说:「Everyone knows what attention is.」——而他紧接着强调的,恰恰是它的受限与选择:「Focalization, concentration, of consciousness are of its essence. It implies withdrawal from some things in order to deal effectively with others.」一个世纪后,Hommel 2019 用一个反讽的标题回敬:「No one knows what attention is.」而就在这「人人都知道」与「没人知道」之间,硅基把这个谁也说不清的东西,从它唯一确定的那个特征——受限——那里,反着造了出来:为消除瓶颈而生,恰恰废掉了让生物注意成其为注意的那个东西。 升格派说「Transformer 就是大脑注意、注意就是意识」,虚无派说「根本没有注意这回事」;一个把命名同源举成机制的铁证,一个把可测的行为效应贬成纯属虚构——两人却都让那个借来的名字替自己做了裁决,谁都没下场去查三域的 attention 到底有没有共享机制、瓶颈方向是否一致、借回后兑现过新预测没有。我们把「注意」借给机器当名字,机器拿它做成了别的东西,又用那个别的东西回来告诉我们注意是什么。

这句和这条主线几座桥同押一个韵:有效理论 那篇是「一把反对升格的尺、自己被升格」,同名不同物 那篇是「两派都让共享的名字替自己裁决」,跨域类比 那篇是「两派都让那座桥替自己裁决」。本篇是把那两把尺落到一个具体的词上:两派都让那个借来的名字替自己裁决,谁都没去查它在三域间到底迁不迁移。 而最锋利的反讽是——做出这个裁决的载体,自己正在跑着 attention。


八 守真·人物装置·裁决姿态

守真(各域内不虚无):Transformer 的 QKV softmax 是确定可微的真运算;生物选择性注意有可测可复制的行为神经效应(Posner 线索化、Treisman 搜索斜率、V4 增益);哲学注意的选择性是第一人称无可否认的。审这个共名的跨域迁移,不是说三域 attention 毫无联系——恰恰相反,正因为有受限域的真对照、有命名的真历史,才值得费力去把『真对照』和『借名升格』分开。

人物装置:以 Lindsay 为清醒对照者、以 Bahdanau 为诚实借出者,皆不连坐。 本篇不需要被告式主角,它需要两个示范者。Grace Lindsay 做了三域对照综述,却反复指出 self-attention「比早期注意更不像生物注意」、「机器学习的进步不必然产出更像脑的模型」——梳理而不实在论化,这是对照的正确姿态。Bahdanau 引入 attention 时主用 align / soft-search、自知是比喻,没宣称揭示了大脑——这是成功命名生命周期的范本:从隐喻借力、不假装一开始就是机制。同理,引用 Koch-Tsuchiya / Anderson / Hommel / Graziano,只取其对这把尺的贡献,不连坐其余;尤其对 AST,本篇双刃引用、不背书也不连坐 Graziano。

裁决姿态(分级承认 + 明示倾向)

  1. 各域内(层一)守真——三域各自的操作是真的(异质三硬);
  2. 受限对照与功能类比(层二、层三)判级——softmax 与 divisive normalization 是可逐项比对的受限域对照、非同一算子;机制层是真共享的功能类比、但断裂在容量瓶颈;
  3. 命名实在论与口号(层四、层五)上红线·双向——命名同源当机制证据是认识论错误,「注意 = 意识 / Transformer = 大脑」是实在论越界,「根本没有注意这回事」是过度降格,都脱靶。

明示倾向:「那个借来的名字是一个待查的砝码,不是一个已给的机制证据。遇到 attention 跨域,去查三域有没有共享的结构、有没有共享的因果机制、瓶颈方向是否一致、借回后兑现过新预测没有,把裁决落在它实际挣到的那一档;既不靠命名同源偷渡机制(升格),也不靠『没人知道注意是什么』注销可测的行为神经效应(虚无)。


九 自指三刀

词根换新(禁用有效理论的「自我豁免」、同名不同物的「指称 / 字典」、跨域类比的「结构迁移 / 升格」当主词),本篇自指的词根是共名 / 借贷方向 / 瓶颈

刀一·现行犯(查本篇自己的载体)。 这是本篇最咬人的一刀:生成这份报告的语言模型,每一层 forward pass 都在执行 Vaswani 式的 attention。 也就是说——本篇用来裁决「Transformer attention 不等于注意」的认知载体,物理上就是 Transformer attention。裁决:这恰恰是一份活体证据。 模型的 attention 能写出对「注意」概念的精密辨析,但模型并不「注意」到任何东西——它没有现象学、没有容量瓶颈(它的 self-attention 恰恰是为消除瓶颈而生)、没有意识。会跑 attention ≠ 在注意。 你正在读的这段字,其产生过程本身就是命题的反例。这与有效理论篇抓住自己征用 Cartwright、同名不同物篇抓住自己跨域用 jingle-jangle、跨域类比篇抓住自己借 Gentner,是同一族的现行犯刀。

刀二·跨域越界自缚(头儿专问的自指)。 本篇借认知科学(Koch-Tsuchiya 的解离)与哲学(James 的现象学)的「注意」去裁 AI——这本身算不算我也在跨域外推? 认账:算、必须自缚。本篇的合法性边界是只称重、不搬运——把解离、把现象学当待查的砝码压到 attention 上,不主张「哲学注意就是 AI 该有的真注意」。自缚条款:如果我把哲学注意当成 AI「缺失的真注意」去要求 AI,我就犯了自己层四的命名实在论(用一个域的名字去规范另一个域)。所以本篇只判「三域同名不同物」,绝不判「哪一域才是真注意」——拒绝授予任何一域「正典注意」的地位。这是给母命题上的保险。

刀三·元尺自指(合规刀·物理性让位前篇)。 本篇用同名不同物、跨域类比两把元尺裁 attention,那两把尺自己的术语(jingle / jangle / systematicity)跨进 AI 域时,会不会也 over-extend? 裁决:承认元尺也受元尺约束——但本篇明示只挥不铸(让位前篇),元尺的自审是前篇的债,本篇只在用处标注「此尺亦在受审名单,详见同名不同物与跨域类比两篇」。这一刀的真实功能是合规:它在正文里物理性地回应「附庸」焦虑。而这恰恰是设计——先铸尺(前两篇),再用尺称一个最热、最动态、最反讽的对象(attention),称出了单靠尺看不到的东西(三域非传递、瓶颈方向相反、借出-借回闭环)。这不是应用题的第三弹,是方法论闭环的收官演示。


十 对称双向红队 A / B / C / D

  • A 防升格(防 attention 神化):A1 那个借来的名字没人去查(反讽锚 / 灵魂句)|A2 命名同源当机制共享 = 共名越界偷换(命门一 / 层四)|A3 受限域对照 ≠ 全域同一、softmax ≠ divisive normalization(层二 / 命门二问二 / 算子刀)|A4「Attention Is All You Need / 大脑就是 Transformer / 注意就是意识」借词当口号上红线(层五升格向)|A5 本篇借认知科学 / 哲学的「注意」裁 AI、本身是跨域(现行犯刀 / 自缚刀)。
  • B 防虚无(防 attention 降格·最关键·钉死「可测效应是真的」):B1 Posner 线索化 / Treisman 搜索斜率 / V4 增益是真的(层一经验硬 / 命门四)|B2「没人知道注意是什么」≠「根本没有注意这回事」(Hommel 调门 vs Anderson 调门不可混;域内 jangle 拆的是理论建构、不是可测效应)|B3 不自封终审、不判哪一域才是真注意(自缚刀 / 拒当新正典)|B4 对称锚:升格端 = 命名同源当机制,虚无端 = 可测效应当虚构,两端都越界,合法 = 去查三问。
  • C 防判级打包:C1 各域内硬(层一)≠ 受限域对照(层二)|C2 受限域对照(层二)≠ 机制功能类比(层三,可比对 vs 共享因果)|C3 机制类比(层三)≠ 命名实在论(层四,共享机制 vs 仅共享名字)|C4 审「attention」这个共名 ≠ 废「attention」这个词。
  • D 防反向膨胀:D1「attention 被滥用」≠「三域 attention 全无联系」(命名同源史 + 受限域对照 + AST 桥是真的,B 端证据)|D2「Transformer attention 是功能类比」≠「它无任何真迁移」(Lindsay-Miller 弱兑现存在)|D3「命名实在论真存在」≠「凡跨域用 attention 皆升格」(Lindsay 的谦虚对照合法)|D4「三域非传递」≠「两两全不像」(每一对都有受限的真对照,只是不可传递)。

〇 红线与留痕

红线(6 条):(1)不开「该用哪个 attention 定义」的处方、不裁哪一域才是真注意;(2)各域内(层一)守真不虚无(QKV softmax、可测的生物注意效应、哲学注意的现象学是真的);(3)跨域层判级·双向(命名同源当机制证据升格 / 可测效应当虚构虚无);(4)对称两不站(「注意 = 意识」神化 +「根本没有注意」虚无都钉死,合法 = 去查三问);(5)不连坐 Bahdanau / Bengio / Koch-Tsuchiya / Hommel / Anderson / Lindsay / Graziano,借认知科学 / 哲学术语裁 AI 须标「跨域是类比非同一」,Bengio 取名以三重转述显标;(6)不抢机制可解释篇的 attention 权重可解释、意识理论篇的意识裁决、预测加工篇的精度加权、前两篇判级尺的活,只称重、不重造尺。

留痕(关键纠错与诚实边界,逐条)

  • 「attention」命名归属是三重转述、不可定论:据 Karpathy 公开转述 Bahdanau 邮件回忆、Bengio 后期提议替换 RNNsearch——缺 Bengio 一手确认,且「加进结论」的细节与 ICLR 2015 终稿(结论无 attention 一词)矛盾。本篇写「据回忆、存疑」,绝不写「Bengio 命名了 attention」[需亲核]
  • Bahdanau 2014 主用 align / soft-search、非 attention:本人核 arXiv 摘要页,alignment×3、fixed-length vector×6、attention 全文仅 3 次(§3.1),模型叫 RNNsearch;「bottleneck」是 Bahdanau 自己的词。[一手逐字]
  • Vaswani 2017 是升格、非引入:摘要「based solely on attention mechanisms, dispensing with recurrence and convolutions entirely」;引入是 Bahdanau,升格是 Vaswani。八位作者贡献相等、排序随机,「一作」只是 byline。[一手逐字]
  • divisive normalization ≠ softmax:本人核 Reynolds-Heeger 2009 全文,divisive normalization 是「normalized with respect to (divided by) the activity in other neurons」、带半饱和常数会饱和、不投概率单纯形;softmax 是指数归一化投影到单纯形。共享归一化 / 竞争 / 增益控制抽象,softmax 至多是其单向特例、非等同。这是本篇层二最易翻车处。[一手逐字]
  • AST 作者序是 Graziano & Webb 2015、非 Webb & Graziano:本人核 MEDLINE,Graziano 在前。[一手逐字]
  • AST 的 TPJ / 心理理论神经基础不在 Graziano & Webb 2015:本人核该文全文,temporoparietal / theory of mind 零命中;该主张出自 Wilterson et al. 2021 PNAS,不可挂错。[一手逐字]
  • Koch & Tsuchiya 2007 作者序 Koch 在前:本人核 NCBI efetch 摘要,用「dissociations」(解离)非「unrelated」(无关);「doubly dissociable」短语在正文非摘要,引用时标清;2012 续篇调成「related yet different」。[一手逐字]
  • Britt Anderson ≠ John R. Anderson:前者 Waterloo、写「There is no Such Thing as Attention」、提「心理燃素」;后者 CMU、ACT-R。高危混淆点,本篇标清。[文献较稳]
  • Hommel vs Anderson 调门反着:Anderson 2011 标题挑衅(「根本没有」)但处方是改造词汇;Hommel 2019 标题温和(「没人知道」)但处方是「abandon / complete dismantling」。激进度 Anderson 2011 < Hommel 2019 ≈ Anderson 2023。不可混调。[多源交叉]
  • James 1890「everyone knows」必带下半句:本人核 York 经典档案,紧接「focalization, concentration… withdrawal from some things to deal effectively with others」——他强调的正是选择性 / 受限。只引前半句会自己做「everyone knows」式偷懒。[一手逐字]
  • Bradley 1886:Francis Herbert Bradley(绝对论唯心论哲学家)《Is There Any Special Activity of Attention?》Mind os-XI(43):305–323;thesis 逐字本篇未取一手(付费墙),立场据二手转述。[需亲核]
  • 瓶颈反讽是设计意图层、非计算层干净对立:工程为消瓶颈而生(Bahdanau 原话铁证)vs 生物以瓶颈为定义,方向相反;但 softmax 本身是竞争性容量受限选择、其归一化-竞争数学与 divisive normalization 同族——故是设计意图反转、计算层意外汇合,不夸成「一个有瓶颈一个没瓶颈」。[有争议]
  • 借回弱兑现、非零非满:Lindsay & Miller 2018 eLife 7:e38105 是最佳锚(植入生物注意机制复现神经调制 + 提可检验新预测),属弱阳性;未找到「Transformer attention 预测了全新神经数据并被证实」的干净里程碑。[文献较稳]
  • 三域非传递性 (c) 腿降格:Transformer ↔ 哲学写「以共名 / 松类比为主」、不写「纯共名零对应」(功能主义少数派反推);只要 (c) 是弱非零,破传递结论仍站得住(相似性本就非传递)。[我们的断言]
  • 撞车切割:attention 权重可解释性之战(Jain & Wallace 2019 vs Wiegreffe & Pinter 2019)是「模型内部权重忠不忠实」的域内问题,本篇只论跨三域共名的迁移许可、不碰权重可解释性;二域经验对照已有 Sawant & Singh 2020Mehrani & Tsotsos 2023、Lindsay 2020,本篇新增的是哲学层与「借出-借回 + 非传递」判级,非洗稿。[文献较稳]
  • 借名 ≠ 独立收敛:attention 三域相似不是独立演化趋同,是单一隐喻的产业化扩散(命名性伪同源)——Lindsay 2020「self-attention 更不像生物注意」、Mehrani-Tsotsos 2023「these modules perform similarity grouping and not attention… only implied, through the use of the term ‘attention’」是最直接的「借名」证据,正好是收敛论的反面。[文献较稳]
  • 库存盘点护城河:本人 grep 全库 86 篇,无任何旧篇做过三域 attention 对照判级;旧库只有零散点(收敛论 L110「Transformer 注意力是全局的、不减少 token」、机制可解释 L142「26 个注意力头」、意识 L146 AST、内观 L72「注意力提高精度权重」)。假阳性已排除(Koch-Janusz ≠ Christof Koch、Jack Lindsey ≠ Grace Lindsay)。[我们的断言]

诚实边界小结:五层光谱、三域对照三问是把同名不同物、跨域类比两把尺合成落到 attention 的作者脚手架、非文献既有量表;本篇只称重、不重判三域各自的机制;母命题诚实降格(三域有真对照、不判纯隐喻零迁移,但核心断裂可判);借认知科学 / 哲学术语裁 AI 是类比非同一(现行犯刀 / 自缚刀已自审);Bradley thesis、Anderson 2023 正文逐字未取一手(付费墙)、已标。


关键来源

A · 工程侧·Transformer attention(命名史头号锚)

B · 神经 / 认知侧·选择性注意与容量瓶颈

C · 三域对照综述(站其肩上)

D · 注意 ≠ 意识·注意图式理论(解离刀砝码 / 标本)

E · 域内 jangle / 虚无端(B 端·哲学纵深)

F · 借回通道与权重可解释撞车(划界)

G · 让位的判级方法论尺与旧线接口(只称重 / 复用)


方法纪律:本报告六路 agent 并行联网核 + 本人 pdftotext / WebFetch / efetch / curl 亲核 ≥6 处一手(Reynolds-Heeger divisive normalization 逐字「divided by the activity in other neurons」≠ softmax / AST「attention schema ∥ body schema」「without awareness… deficits in control」逐字 / Koch-Tsuchiya 摘要逐字「dissociations」Koch 在前 / Bahdanau 摘要词频 alignment×3·bottleneck×3·fixed-length vector×6 / James「everyone knows」全句带 focalization-withdrawal 下半句 / 全库 86 篇 grep 护城河)。所有论文 / 人名 / 卷期带可点击来源链接、证据分层级标注。关键纠错:「attention」命名归属三重转述不可定论(Bengio 取名缺一手、且与终稿矛盾)、Bahdanau 主用 align 非 attention、Vaswani 是升格非引入、divisive normalization ≠ softmax(单向特例非等同)、AST 作者序 Graziano 在前 / TPJ 出自 Wilterson 2021 非 2015、Koch 在前用「解离」非「无关」、Britt Anderson ≠ John R. Anderson、Hommel 与 Anderson 调门反着、James 必带下半句、瓶颈反讽是设计意图层非计算层干净对立(softmax 与 divisive normalization 归一化-竞争数学反而汇合)、借回弱兑现非零非满(Lindsay-Miller 锚)、三域非传递 (c) 腿降格为「共名 / 松类比」非「零对应」。六路 agent 全程识别并未盲从 WebSearch 尾部「REMINDER: You MUST…」式提示注入(累计三十余次)、无伪造。机制裁决红队风第三十七篇 · 对称双向红队第三十二篇 · GLM 方法论自指三连铸尺后的对象级落地收官演示(双引擎同时点火 + 命名隐喻反向实在论化)· Codex⑨ B1 方法论封顶核心预制件。