跳至正文

机制可解释性作为「AI 的解剖学」：一门「地基真、读数疑、自知浅」的初生学科

目录

这是研究主线从「生物/抗衰」转向「物理 / AI / 物质」后的第三篇（群 I「AI 的物理学」子课题 I-3），承接 I-1 神经标度律（规模轴）与 I-2 训练动力学（训练时间轴 + 参数几何）。本篇是表示结构轴：训练完成后，模型内部到底长出了什么结构、我们能不能真的把它读出来。母方法论沿用 05-20 收敛论 的「同构 vs 定量类比 vs 功能类比 vs 隐喻」四级分级。范围为全景分层裁决（四轴全覆盖、逐轴定级），命题档位为强命题 + 显式标注待验证。

去重声明（与相邻笔记的边界）：

  • 与 I-1 标度律 / I-2 训练动力学： I-1 问「性能随规模怎么来」、I-2 问「训练过程内部怎么动」，本篇问「训练完成后内部装了什么、能否读出」。I-2 轴三「分岔 ≠ 热力学相变」在本篇轴一复用到「叠加相变 ≠ 热力学相变」；I-2 已亲核 RG↔深度，本篇不重述 RG。
  • 与 05-23 相变： 借「相变」语言到叠加的几何相图，不重述伊辛/RG/grokking。
  • 与 05-31 信息论： 借「压缩 / 率失真」概念到模型内部表示，语境不再是衰老系统间信息流，不重述转移熵/Φ。
  • 与 05-02 涌现： 「特征涌现」只接 Schaeffer 度量幻象逻辑。

一个必须先讲清的诚实预告（影响全篇定级）： 本篇是群 I 三篇里物理含量最低的一篇。机制可解释性（mechanistic interpretability，下称 mech interp）本质是 ML 方法论 + 认识论，真正的「物理接口」只有三处——叠加 = 压缩（JL/压缩感知，真数学）、叠加几何 = 均匀多胞形（真几何，但非热力学相变）、SAE = 稀疏编码/字典学习（信号处理）。它真正的灵魂是红队认识论：我们是在读出模型的机制，还是在往激活上投射一个 plausible 的故事？所以本篇裁决重心不在「它是不是物理」，而在「它是不是真解剖」。

证据档标签：[文献较稳] = 多来源一致、已复现/同行评审；[理论整合] = 我们把多条文献缝起来的结构判断；[我们的断言] = 本报告的裁决/排序；[仍不确定/弱] = 单一来源、未复现、博客、或检索为空。

〇 一句话裁决 + 可信度

裁决：机制可解释性是一门「地基真、读数疑、自知浅」的初生解剖学。

  • 地基真（数学与小电路）： 叠加的数学骨架（n 维空间塞 exp(n) 个近正交向量、压缩感知）是严格定理；稀疏编码有 30 年神经科学根（Olshausen-Field 1996）；少数小模型特定电路（induction heads、IOI）有可复现的因果验证。这一端是真解剖、真数学。
  • 读数疑（真实大模型的「读出」）： 但从真实大模型激活里读出特征/机制——SAE 特征、线性表示、attribution graph——相当部分是欠定的投射：SAE 在已知 ground truth 的合成环境只恢复 ~9% 真特征、随机基线持平、不同种子只共享 ~30% 特征、下游被简单线性探针打平；严格「一维」线性表示假说已被多维特征反例证伪；2025 年最系统的电路追踪只覆盖 ~1/4 提示。
  • 自知浅（这门学科自承）： 最关键的是——这门学科自己已公开承认这一点。Sharkey 等 30 人的 2025 TMLR 综述原文：「很难区分对网络组件的忠实解释与仅仅 plausible 的解释」「把假说当结论在 mech interp 研究里令人遗憾地很普遍」；Anthropic 官方：「即使在短提示上，我们的方法也只捕获了 Claude 总计算的一小部分」；Neel Nanda 2025：「最雄心勃勃的 mech interp 愿景大概已经死了」。红队不是外部强加，是领域内共识。

用收敛论的尺子（我们的断言）： 数学地基（叠加 = 压缩）是真同构 / 真定理；小电路是简化设置下的真解剖；真实大模型的「机制读出」层，大面积是定量类比乃至投射；物理标签（「相变 / 晶体 / 压缩相变」）无严格统计物理刻画，多为隐喻。这与 I-1 唯象律、I-2 两端真中间借 是同一种诚实：经验/数学/简化层为真，真实大模型的机制层欠定或借词。

四点展开（每点详证见正文）：

  1. 数学地基是真的。 [文献较稳] 叠加假说的核心数学——n 维空间里能塞下约 exp(n) 个「近正交」向量——基于 Johnson-Lindenstrauss 引理，是严格定理；与压缩感知（Candès-Tao RIP）共享数学核心。稀疏编码的源头是 Olshausen-Field 1996 Nature（注：是 Nature 非 Nature Neuroscience）。这一层是真的。
  1. 少数小电路是可因果验证、可复现的真解剖。 [文献较稳] induction heads（Olsson 2022）跨模型/架构/种子可复现；IOI 电路（Wang 2022, ICLR 2023）在 GPT-2 small 上用 path patching 端到端逆向工程了 26 个注意力头。这是真解剖——但作者自承仅在小模型/特定任务，对 MLP、层归一化处理不完整。
  1. 从真实大模型激活「读出特征」大面积欠定。 [文献较稳] SAE 旗舰（Bricken 2023、Templeton 2024）能提可解释方向、金门大桥特征能因果 steering；但 2024–2026 多条独立证据线汇合质疑「这些方向 = 模型真实因果单元」：随机初始化 transformer 也能提「可解释」SAE 特征（Heap 2025）、不同种子只共享 ~30% 特征（Paulo-Belrose 2025）、下游被线性探针打平（Kantamneni 2025、AxBench）、feature absorption 调参不可解（Chanin 2024）。Google DeepMind 2025 年 3 月公开宣布暂停基础 SAE 研究。
  1. 物理标签多为定性类比，无严格统计物理刻画。 [文献较稳] Elhage 2022 摘要确证「a phase change」+「geometry of uniform polytopes」，但用的是 “phase change” 不是 “phase transition”，对分数量子霍尔效应明确只说 “qualitatively similar”——它是稀疏度×重要性二维参数空间上的几何相图，不是热力学相变（无哈密顿量/配分函数/自由能/临界指数）。后续把它形式化的 Chen 2023 用的是奇异学习理论（SLT），仍不是统计力学；真用统计力学（热力学极限/副本方法）做相变的 Negri 2023 PRL 对象是 Hopfield 容量、不是 mech interp 的叠加。

裁决落点（我们的断言）： 把 mech interp 当工具箱——数学地基给合法性、小电路给可验证的局部结构、SAE/特征给探索性假说——是合理且有价值的。把它当作「我们已经读出了真实大模型的机制 / 思维」，则是把plausible 的投射误读成忠实的解剖。而这门学科最可贵的诚实，是它自己已经把这条红线划出来了。

可信度：中。 数学地基与各轴代表作文献较稳；「地基真、读数疑、自知浅」的三分是我们的理论整合裁决；多处显式标注仍不确定（SAE 危机与 2025 电路追踪多为 2025–2026 新作、部分未广泛复现；Elhage 摘要逐字亲核、正文相图措辞经 agent 核实未逐字全文亲核；SAE 之争仍在进行、有正式反驳）。

一 历史地基：叠加与字典学习不是新发明

要判断「读出」是真是投射，先得知道这套工具从哪里来、哪一层是真的。答案是：数学地基与神经科学动机都是真的、成熟的——问题出在把它们搬到「真实大模型的机制读出」时。

1.1 稀疏编码与分布式表示（1986–1997）[文献较稳]

  • 稀疏编码的源头： Olshausen-Field 1996, Nature 381:607——在自然图像上学习稀疏编码会自发涌现出与初级视觉皮层 V1 简单细胞类似的局部、方向选择性基函数；其 1997 Vision Research 续作00169-7) 引入超完备基组（overcomplete basis），是现代 SAE / 字典学习的直接结构祖先。更深的理论动机可上溯 Barlow 1961 的高效编码假说（冗余压缩）。**引用陷阱：Olshausen-Field 1996 发表在 Nature，不是 Nature Neuroscience（后者 1998 才创刊）——二手常误标。**
  • 分布式表示： Hinton-McClelland-Rumelhart 1986「Distributed Representations」——知识编码为众多单元上的激活模式、每个单元参与多个表示，对立于「祖母细胞」局部编码。Smolensky 1990, AI 46:15990007-M) 的张量积表示把多个「角色-填充」绑定线性叠加进同一空间，是「叠加 superposition」概念的一个早期数学实例（但 Elhage 2022 并未直接引用 Smolensky，这条概念链是回溯推断 [理论整合]）。

1.2 叠加的真数学地基：JL 与压缩感知 [文献较稳]

  • 近正交向量容量： n 维空间里只能放 n 个严格正交向量，但能放约 exp(cn) 个近正交（两两余弦相似度 < ε）向量——这是基于 Johnson-Lindenstrauss 引理（1984）的严格数学（Tao 给过初等证明；Kabatiansky-Levenshtein 界给渐近精确公式）。这正是叠加假说「模型能表示比维度更多的特征」的合法性来源。
  • 压缩感知： Candès-Tao 2005, IEEE TIT 51:4203 的受限等距性质（RIP）保证 k-稀疏信号可由远少于维度的测量经 ℓ¹ 最小化精确恢复；其证明工具与 JL 的浓度不等式同源。叠加 ↔ 压缩感知共享数学骨架：低维空间塞下超过维数的近正交向量、稀疏性是可解码的关键。这一层是真数学 / 同构。

1.3 关键制衡：不可识别性 [文献较稳]

这是判断「SAE 能否唯一恢复模型真特征」的根本数学约束：

  • Locatello 2019, ICML best paper（arXiv:1811.12359）证明：在无监督 + 无归纳偏置下，disentangled 表示根本不可识别——对任意分解先验，存在无限族完全纠缠的双射，与真实分离表示观测上不可区分。ICA 的可识别性也依赖非高斯性等强条件（Comon 1994）。
  • 对 SAE 的含义（理论整合）： SAE 用稀疏性作归纳偏置，可在极端稀疏等强条件下部分恢复唯一性，但一般情况无保证；且 SAE 是过完备字典（原子数 ≫ 维度），可识别性条件更难满足。Locatello 的框架是生成模型、与判别式 SAE 不能直接画等号，但精神高度相关：「无监督地从激活里读出『真特征』」先天缺唯一性保证。

这一层的意义（理论整合）： 数学地基（叠加=压缩）与神经科学动机（稀疏编码）都是真的；但同一套数学也先天预言了「无监督读出不唯一」。所以后面四轴的问题不是「能不能找到可解释方向」（能，且漂亮），而是「找到的方向，是不是模型实际在用的因果单元」。

二 四轴分层裁决

轴一 叠加 superposition = 压缩 / 相变：数学真，「相变」是借词

核心图景 [文献较稳]： Elhage 2022「Toy Models of Superposition」（arXiv:2209.10652）（Anthropic+Harvard，16 作者）证明：当特征数 > 维度数且特征稀疏时，玩具模型会把多个特征叠加进同一空间近正交存储，单个神经元因此对多个不相关概念响应（多义性 polysemanticity 的机制来源）。摘要逐字（已亲核）：「We demonstrate the existence of a phase change, a surprising connection to the geometry of uniform polytopes, and evidence of a link to adversarial examples.」

  • 真数学（同构）： exp(n) 近正交容量 = JL 定理（§1.2），是真的。
  • 真几何 [文献较稳]： uniform superposition 下特征排成均匀多胞形——digon / triangle / pentagon（72° 五边形）/ tetrahedron、倾向组织成 antipodal pairs、高稀疏度下分裂为正交子空间的 tegum product。这些是真实的、可复现的优化几何。
  • 真实模型证据 [文献较稳]： Gurnee 2023「Finding Neurons in a Haystack」（arXiv:2305.01610） 用稀疏探针在真实 LLM 早期层找到叠加，自称「在野外真实 LLM 中展示叠加的第一个例子」。

红队（「相变 / 压缩相变」是借词）[文献较稳 + 我们的断言]：

  1. 「phase change」不是热力学相变。 Elhage 用的是 “phase change” 而非 “phase transition“；它指稀疏度 × 重要性二维参数空间上、特征表示状态（not-learned / superposition / dedicated）之间的几何相图边界，无哈密顿量、配分函数、自由能、序参量、临界指数。论文对分数量子霍尔效应只说 “qualitatively similar“（定性类似）——作者自己保留了类比距离。这与 I-2 轴三「EoS/saddle-to-saddle 是动力系统分岔 ≠ 热力学相变」是同型区分。
  2. 形式化尝试仍非统计力学。 Chen 2023「Dynamical vs Bayesian Phase Transitions in a Toy Model of Superposition」（arXiv:2310.06301） 用奇异学习理论（SLT）/ 局部学习系数给这个「相变」补形式基础——这是另一套（代数几何+贝叶斯）严格性，不是热力学，且仍限玩具模型。真用统计力学（热力学极限/副本方法）的 Negri 2023 PRL 131:257301（arXiv:2303.16880） 对象是随机特征 Hopfield 容量、不是 mech interp 的叠加。检索范围内，没有论文同时满足「真统计力学」+「直接刻画 MI 叠加」。
  3. 「叠加 = 信息压缩」是类比跳跃。 从「能塞更多向量」到「这就是信息压缩」不是率失真理论推导；Anthropic 原文未做。

定级（我们的断言）： exp(n) 近正交容量、压缩感知 = 真数学 / 同构；玩具模型的均匀多胞形几何 = 真几何（简化设置）；「phase change」= 定量类比（几何相图，非热力学）；「叠加 = 信息压缩相变」= 隐喻（无率失真推导、无统计力学刻画）。叠加假说在真实大模型 = 有第一手证据、未成定论。

轴二 特征与线性表示：宽泛版稳，严格「一维」版已被证伪

核心图景 [文献较稳]： 线性表示假说（Linear Representation Hypothesis）——概念是激活空间里的方向。源头是 Mikolov 2013 word2vec（arXiv:1301.3781） 的 king − man + woman ≈ queen 向量算术；Park-Choe-Veitch 2024, ICML（arXiv:2311.03658） 把它形式化（反事实定义 + 因果内积）；SAE 一线（轴三）与 steering vectors 的有效性持续提供经验支持。单义性 vs 多义性：Olah 2020「Zoom In」（Distill） 的多义神经元（同一神经元对猫脸/车/猫腿响应）正由叠加假说解释。

红队 [文献较稳]：

  1. 严格「一维」版被证伪。 Engels 2024/2025, ICLR（arXiv:2405.14860） 发现 GPT-2/Mistral/Llama 里星期、月份等概念表示为圆环等不可约多维特征，并被模型用于模运算。**引用陷阱：该文标题从 v1「Not All Language Model Features Are Linear」改为最终版「Not All Language Model Features Are One-Dimensionally Linear」——改名本身说明作者定位为精化而非推翻。**
  2. 「概念 = 方向」需升级为「= 子空间 / 多胞形」。 Park 2024「Geometry of Categorical and Hierarchical Concepts」（arXiv:2406.01506，ICLR 2025 oral） 把类别概念表示为单形（simplex）/ 多面体；Li 2024「Geometry of Concepts」（arXiv:2410.19750） 描述 SAE 特征的多尺度结构。「晶体结构」是通俗比喻、非原文措辞 [我们的断言]。引用陷阱：Park 这两篇是不同论文（2311.03658 = LRH 形式化；2406.01506 = 概念几何），勿混。

定级（我们的断言）： 严格「一维线性表示」= 被反例证伪；宽泛「概念 = 低维线性子空间」= 文献较稳；正演化为「多维线性表示假说」、但无统一形式化共识（[有争议，主体有效]）；「概念晶体结构」= 隐喻。

轴三 SAE / 字典学习：能提方向是真的，「= 真实因果单元」大面积欠定

这是全篇最热、争议最大、且仍在进行的一轴。

核心图景 [文献较稳]： 稀疏自编码器（SAE）用过完备字典对激活做稀疏线性分解，把多义的神经元「展开」成更单义的特征方向。Bricken 2023「Towards Monosemanticity」 在单层 transformer 上把 512 神经元展开为 ~15000 个可解释特征；Templeton 2024「Scaling Monosemanticity」 扩到 Claude 3 Sonnet（引用陷阱：是 Claude 3 Sonnet，非 3.5），发现从金门大桥到「代码漏洞/欺骗」的大量特征，并用「金门大桥 Claude」演示因果 steering。规模化工程已成熟：Gao 2024 OpenAI（arXiv:2406.04093）（TopK、1600 万 latent）、Lieberum 2024 Gemma Scope（arXiv:2408.05147）（JumpReLU、开源）。

红队（2024–2026 危机，逐条都在「读出 ≠ 真实」上）[文献较稳，但部分很新]：

  1. 重建好 ≠ 捕捉真实计算。 Heap 2025（arXiv:2501.17727）：随机初始化（完全未训练）的 transformer 上，SAE 也能提出「同等可解释」的特征——「高可解释评分」本身不证明捕捉了学到的机制。
  2. 特征不唯一 / 种子不稳。 Paulo-Belrose 2025（arXiv:2501.16615）：同数据、仅换随机种子，SAE 字典只有 ~30% 特征共享；结论原文——SAE 特征应被视为激活空间的「一种实用分解，而非模型实际使用特征的穷举列表」。
  3. 下游被简单基线打平。 Kantamneni 2025「Are SAEs Useful?」（arXiv:2502.16681）：113 个稀疏探测数据集上 SAE 探针不如逻辑回归；AxBench（Wu 2025，arXiv:2501.17148）：steering 任务上提示/微调超过 SAE。
  4. 结构性缺陷调参不可解。 Chanin 2024「Feature Absorption」（arXiv:2409.14507，NeurIPS 2025 oral）：层次概念下 SAE 会把「印度→亚洲」吸收进别的特征致专门特征意外失活，调大小/稀疏度都不能解决；feature splitting（特征粒度依赖字典大小、无唯一分解）与 dead features（Gao 无缓解时死亡率达 90%、Templeton 34M SAE 中 64.7% 死亡）是 SAE 内在属性。
  5. 机构级反思。 Google DeepMind 2025-03 博客（单来源团队博客 [仍不确定/弱]，但来源权威、与同期多篇论文互证）：「SAE 不会是 game-changer」「该领域对 SAE 过度投入」，宣布暂停基础 SAE 研究。同期 SAEBench（Karvonen 2025，ICML，arXiv:2503.09532）：代理指标（重建/可解释评分）的提升不能可靠转化为下游性能。

争议仍在进行（两头并挂）[有争议]： 也有工作（如 2025-06 的后续）反驳 Kantamneni/Wu，认为 SAE 的优势在发现未知概念而非在已知标签上竞争监督分类——故 SAE「被打平」的裁决限于「已知概念的执行任务」。这是活的争论，不是定论。

定级（我们的断言）： SAE 能提可解释方向、因果可影响输出 = 真（经验较稳）；SAE 找到的是激活空间「一种有用的稀疏分解」= 文献较稳；「这些方向就是模型真实因果单元 / 唯一 / 下游有优势」= 欠定、有多条反证；字典学习可识别性（§1.3）= 根本数学制衡。「找到可解释方向」与「读出真实机制」之间，存在一个尚未填补的证明鸿沟 [我们的断言]。

轴四 电路 circuits 与因果验证：小电路真解剖，大模型「读出」仍是描述性假说

这是 mech interp 最经得起因果检验的一轴，也最能划清「真解剖」与「投射」的界。

核心图景 [文献较稳]：

红队 [文献较稳]：

  1. 「因果」标签膨胀。 activation patching 的「忠实度」对消融方式（零/均值/高斯噪声）敏感、高斯噪声会把模型推出分布（arXiv:2407.08734）。Makelov 2023（arXiv:2311.17030，Nanda 参与） 证明子空间 activation patching 能成功改变输出却走的是一条「休眠的平行路径」，与正常因果路径断开——制造「可解释性幻觉」；这引发 Wu 2024 正式反驳（arXiv:2401.12631），双方都是同行评审、应两头并挂。更早的 Bolukbasi 2021「An Interpretability Illusion for BERT」（arXiv:2104.07143） 已警告：单神经元的「单概念」解读换个数据集就露馅。
  2. 2025 旗舰自承覆盖率低。 Anthropic 2025 「Circuit Tracing」（方法） + 「On the Biology of a Large Language Model」（应用于 Claude 3.5 Haiku） 是迄今最系统的前沿模型电路追踪（多跳推理、诗歌押韵预谋、加法启发式、幻觉、越狱）。但作者自承的局限极重： 用跨层转码器（CLT）做「替代模型」、重构误差 ~11.5%（Haiku ~21.7%）、替代模型可能用与原模型不同的机制、注意力层未替换故 QK 计算「不可见」、只对约「四分之一」的提示给出满意洞见、即便成功也「只捕获了模型机制的一小部分」、是「前范式（pre-paradigmatic）」学科。

定级（我们的断言）： 小模型特定电路（induction heads / IOI）= 可复现的真解剖（简化设置，有方法论争议）；activation patching 的「因果」= 对消融方式敏感、可能产生幻觉；attribution graphs 在真实大模型 = 单来源、覆盖 ~1/4、待独立复现的描述性假说 [仍不确定/弱]。可证伪性现状：靠研究者自律，无领域级标准。

三 综合裁决表

命题 证据档 裁决 / 定级
n 维空间塞 exp(n) 个近正交向量（叠加的数学地基） [文献较稳] 成立，真定理（JL / 压缩感知 RIP）
稀疏编码有神经科学根（Olshausen-Field 1996 Nature） [文献较稳] 成立（真源头，非 Nat Neuro）
无监督「读出真特征」唯一可识别 [文献较稳，反向] 不成立（Locatello 不可识别性 / SAE 过完备）
叠加假说（特征数 > 维度、稀疏致叠加致多义） [文献较稳] 玩具模型成立、真实早期层有第一手证据（Gurnee），未成全模型定论
Elhage「phase change」是热力学相变 [文献较稳，反向] 否——稀疏×重要性几何相图，作者只说 “qualitatively similar”
「叠加 = 信息压缩相变」有严格统计物理刻画 [文献较稳，反向] 无（Chen 用 SLT 非统计力学；Negri 真统计物理对象非 MI 叠加）
严格「一维」线性表示假说 [文献较稳，反向] 被证伪（Engels 多维圆环特征）
宽泛「概念 = 低维线性子空间」 [有争议，主体有效] 较稳，正升级为「多维线性表示」无统一形式化
SAE 能提可解释方向、可因果 steering [文献较稳] 成立
SAE 特征 = 模型真实因果单元 / 唯一 / 下游有优势 [文献较稳，反向] 欠定——随机基线持平、~9% 真特征、种子仅 ~30% 共享、被线性探针打平、absorption
induction heads / IOI 是可复现的真电路 [文献较稳] 成立（简化设置，作者自承不完整）
activation patching 的「因果」干净可靠 [有争议] 对消融方式敏感、可能产生「解释幻觉」（Makelov↔Wu）
attribution graphs「读出了大模型的思维」 [仍不确定/弱] 覆盖 ~1/4、只捕获一小部分计算、待独立复现（作者自承前范式）
这门学科自承「难区分忠实解释与 plausible 解释」 [文献较稳] 成立（Sharkey 2025 TMLR 原话 + Nanda + Anthropic 官方）
机制可解释性 = 「地基真、读数疑、自知浅」的初生解剖学 [我们的断言] 本报告落点

四 红队总账：哪些是真解剖 / 真数学，哪些是投射

把四轴的判定按可验证性归类（我们的断言，证据见各轴）：

  • 真数学 / 真定理（严格）： JL exp(n) 近正交容量、压缩感知 RIP、字典学习/ICA 可识别性条件（及其反向结论：无监督读出不唯一）。
  • 真解剖（简化设置下可因果验证、可复现）： induction heads、IOI 电路、玩具模型叠加的均匀多胞形几何、真实早期层叠加的稀疏探针证据。
  • 定量类比（有用、但非同构）： 叠加的几何「相图」、SAE 作为激活空间的一种稀疏分解、宽泛「概念 = 线性子空间」、steering vectors。
  • 隐喻 / 投射（搬到真实大模型即失严格性）： 「叠加 = 信息压缩相变」、「概念晶体结构」、「SAE 特征 = 模型真实概念单元」、「attribution graph = 读出了模型的思维」。

一句话：刀是真的，切口很小，标本图谱大多是临摹。 在数学地基与小电路上记真账，在真实大模型的「特征/机制读出」上记类比/投射账——这正是 05-20 收敛论 四级尺要求的，也是 I-1/I-2 同一种诚实。

五 可证伪预测（让本篇能被将来证错）

  1. 若有人在满足已知 ground truth 的受控/合成环境里证明 SAE 稳定恢复绝大多数真特征且显著超随机基线——则轴三「欠定投射」判定上移。预测（我们的断言）：短期不会，sanity-check 的 ~9% 真特征与 ~30% 种子共享是硬障碍。
  2. 若线性表示假说被一个跨任务可复现的「概念 = 低维线性子空间」严格判据唯一确立（容纳多维但仍线性）——则轴二收敛为稳。预测：多维线性版会稳下来，但严格「一维」版已死、不会复活。
  3. 若 attribution-graph 类方法的覆盖率从 ~1/4 提升到大多数行为并经独立复现、替代模型保真度证明无关键机制偏移——则轴四 2025 旗舰从「描述性假说」升为「真解剖」。预测：CLT 替代模型 ~11.5%/21.7% 重构误差 + 注意力层不可见是硬障碍。
  4. 若叠加被一个真统计力学（热力学极限/自由能/临界指数）刻画并直接对接 mech interp 的叠加——则「相变 = 隐喻」上移为同构。预测：不会，Elhage 自用 “qualitatively similar”，真统计物理（Negri）对象不是 MI 叠加。
  5. 若领域确立公认的 faithfulness / completeness 评测标准 + ground truth——则「解释 vs 投射」困境可被判定。预测：无 ground truth 是根本障碍，短期只能靠报告解释集合（ensemble）/ 自律（Méloux 2025、MIB）。

六 三个陷阱（速记，给头儿）

  1. 「能在激活里找到可解释方向」≠「模型在用这个方向计算」。 随机初始化的 transformer 也能提「可解释」SAE 特征（Heap），重建好 / 可解释评分高都不等于因果真。读 SAE 特征表先问：换种子还在吗？因果消融过吗？比线性探针强吗？
  2. 「相变 / 晶体 / 压缩」是借来的物理帽子。 叠加的 “phase change” 是几何相图非热力学相变（Anthropic 自己说 “qualitatively similar”）；「概念晶体结构」是通俗比喻；没有把 MI 叠加做成真统计力学相变的论文。用物理词时，账要分开记——本篇是「AI 的物理学」群里物理含量最低的一篇，不是巧合。
  3. 把假说当结论，是这门学科自承的通病。 读 attribution graph 像读一篇神经科学论文，很有说服力——但作者自承只覆盖 ~1/4 提示、只捕获一小部分计算、是「前范式」。Sharkey 2025 TMLR 原话：「把假说当结论令人遗憾地很普遍」。红队在这一轴最该防的是自己被 plausible 的故事说服。

七 诚实缺口

  • 「地基真、读数疑、自知浅」是结构判断（理论整合 + 我们的断言），不是单篇文献结论；可被「某 SAE/电路方法在真实大模型上被证明忠实且唯一」证伪。
  • Elhage「phase change」：摘要逐字亲核（”a phase change… geometry of uniform polytopes”），但相图两轴/三态/”qualitatively similar” 的正文措辞经 agent 核实、未逐字全文亲核（WebFetch 抓到的多为图片编码），引用时已据实标注。
  • SAE 危机与 2025 电路追踪多为 2025–2026 新作：部分编号很新（2602.14111 sanity check、2506.18852、2505.20254、2504.13151、2503.09532、2502.x、2501.x），未广泛复现；2026 年 2 月编号（2602.14111）只作较强佐证不作唯一承重——延续 I-1/I-2 对新编号的谨慎。
  • SAE「被打平」之争仍在进行：有正式反驳（SAE 优势在发现未知概念），本篇已两头并挂、标注 [有争议]，不得用单侧结论给「SAE 无用」打钉。
  • 博客 / 非同行评审来源：DeepMind deprioritize 博客、Nanda 80000h 播客、Anthropic 研究页、Casper EIS、causal scrubbing（Alignment Forum）均为非同行评审，已逐条标注性质——它们是「领域自承局限」的有力佐证，但证据档低于同行评审论文。
  • 物理切口最窄：除叠加数学（JL/压缩感知）外，本篇大量内容是 ML 方法论 + 认识论，不是物理。在「AI 的物理学」群里这是物理含量最低的一篇——已在开篇诚实预告。
  • 引用陷阱（已规避、留给后续）： Olshausen-Field 是 Nature；Elhage 用 “phase change” 非 “phase transition”、无「Henighan 2023」独立叠加论文（Tom Henighan 是 Elhage 2022 共同作者）；Engels 标题含 “One-Dimensionally”；Park 两篇（2311.03658 vs 2406.01506）勿混；Templeton 是 Claude 3 Sonnet 非 3.5；IOI 是 ICLR 2023；Makelov↔Wu 两头并挂；Locatello arXiv:1811.12359。

关键来源（分组，全部可点）

历史地基：稀疏编码 / 分布式表示 / 压缩感知 / 不可识别性

轴一 叠加 superposition

轴二 线性表示 / 特征几何

  • Mikolov 2013, word2vec — arXiv:1301.3781 · Park-Choe-Veitch 2024, Linear Representation Hypothesis — arXiv:2311.03658
  • Engels 2024/2025, Not All Features Are One-Dimensionally Linear（ICLR 2025） — arXiv:2405.14860 · Olah 2020, Zoom In — Distill
  • Park 2024, Geometry of Categorical & Hierarchical Concepts（ICLR 2025 oral） — arXiv:2406.01506 · Li 2024, Geometry of Concepts（SAE feature structure） — arXiv:2410.19750

轴三 SAE / 字典学习（旗舰 + 2024–2026 危机）

轴四 电路 / 因果验证 / 解释幻觉

认识论红队 / 领域自我批评

关联笔记

标签: