跳至正文

训练动力学的统计物理它是真物理，还是借来的词？

目录

这是研究主线从「生物/抗衰」转向「物理 / AI / 物质」后的第二篇（群 I「AI 的物理学」子课题 I-2），承接 I-1 神经标度律。母方法论沿用 05-20 收敛论 的「同构 vs 定量类比 vs 功能类比 vs 隐喻」四级分级。范围为全景分层裁决（四轴全覆盖、逐轴定级），命题档位为强命题 + 显式标注待验证。

去重声明（与相邻笔记的边界）：

  • 与 I-1 标度律： I-1 是规模轴（N/D/C → 训练终点 loss 的标度律）；本篇是训练时间轴 + 参数空间几何（单次训练过程内部发生了什么）。”涌现/grokking”在 I-1 是”规模中涌现”，在本篇是”训练中涌现”。
  • 与 05-23 相变： 它已讲 grokking 一阶 vs 玻璃、双下降/jamming、loss 流形对称破缺、scaling 相图。本篇不重述，只在轴三接住并升级到”SGD 随机动力学 + 可测量”的过程视角，并补 2023–2026 新进展（Rubin/Zhang/Bi、EoS、saddle-to-saddle）。
  • 与 05-25 过拟合补遗（双下降/benign-tempered/lazy→feature/Zhang 2505.11411）： 本篇不重述容量/泛化，只借 lazy→feature 接口与 grokking 之争。

证据档标签：[文献较稳] = 多来源一致、已复现/同行评审；[理论整合] = 我们把多条文献缝起来的结构判断；[我们的断言] = 本报告的裁决/排序；[仍不确定/弱] = 单一来源、未复现、或检索为空。

〇 一句话裁决 + 可信度

裁决：训练神经网络的「统计物理」是一座「两端真、中间借」的桥。

  • 一端真（可解模型）： 在感知机、teacher-student、随机特征这类可解模型上，”学习相变”是严格的统计力学结果，部分（Gardner 感知机容量）甚至已被数学家升格为定理。这一端是真物理。
  • 另一端真（可测量）： 真实 SGD 训练里确有操作性定义清楚的物理量——学习率/批量比 η/B、Hessian 谱、梯度噪声协方差、sharpness 的 2/η 边界。这些不是借词。
  • 中间是借（真实深度网络的过程）： 但把”温度 / 自由能 / 熵 / 相变 / RG 流”这套热力学+临界语言，从可解模型搬到真实深度网络的训练过程时，大部分是定量类比乃至隐喻，而非同构——因为真实 SGD 噪声各向异性（协方差秩低至维度的 ~1%）、处于非平衡（有概率流、涨落-耗散关系反号）、可能重尾；真实网络的”相变”多是动力系统分岔（不是热力学相变）、度量工件或外生扰动；RG 的严格映射只在 RBM + 最近邻 Ising 这个极窄三元组里成立。

用收敛论的尺子：可解模型上是同构（部分已成定理）；真实大模型上，少数是严格的动力系统分岔（简化设置下），多数降为定量类比 / 隐喻。

四点展开（每点详证见正文）：

  1. 历史地基是真的。 [文献较稳] 用统计物理分析学习不是新发明，而是 1980s–90s 就成熟的传统：Gardner 1988 算出感知机存储容量 α_c=2 并已被 Talagrand 严格化、Hopfield/Amit-Gutfreund-Sompolinsky 的 α_c≈0.138、Seung-Sompolinsky-Tishby 1992 的学习曲线，到现代 Mei-Montanari 随机特征双下降、Barbier 2019 严格证明 GLM 相变。在可解模型上，”学习相变”是真物理，部分是真定理。
  1. 真实 SGD 有真可测量，但热力学语言多是借词。 [文献较稳] “有效温度 T_eff ∝ η/B”作工程缩放律有用（Mandt 2017、Smith 2018）；但 Chaudhari-Soatto 2018（已亲核） 证明真实 SGD 噪声非各向同性（协方差秩低至 1% 维度）、收敛到极限环而非定点、处于非平衡态；Feng-Tu 2021 PNAS 测到 inverse variance-flatness 关系（与平衡涨落-耗散定理反号）；Li-Malladi-Arora 2021 证 SDE 近似只在 η→0 有严格保证。→ FDT 作为字面热力学恒等式在真实 SGD 不成立，”温度/自由能”是借来的直觉。
  1. 损失地形的几何图景较稳，但物理类比多为定量类比/功能类比。 [文献较稳] 鞍点结构（Dauphin 2014）、模式连通性（Garipov/Draxler，置换对称后近乎单盆地 Ainsworth 2023）、Hessian “体相+离群值”（Sagun 2017）是稳的经验几何。但自旋玻璃类比（Choromanska 2015）依赖作者自承不成立的独立性假设；“平坦极小↔泛化”不是定理（Dinh 2017 用 ReLU 尺度不变性构造任意尖锐但泛化相同的反例）。
  1. 训练中的”相变”要三态分流。 [文献较稳 + 我们的断言] ① 极少数是严格分岔——edge of stability 的步长阈值（Ahn 2023）、saddle-to-saddle 在线性网（Pesme-Flammarion 2023）是真不连续，但只在简化设置严格；② 多数是度量工件或被粗采样放大的渐进——grokking 三派鼎立无定论，Nanda 2023 用连续度量看是渐进（接 05-02 涌现幻象）；③ 个别是外生扰动——PaLM 的 loss spike 可回滚消除。EoS 是动力系统分岔，不是热力学相变。 RG↔深度：Mehta-Schwab（已亲核） 的”exact”只在 VRG+RBM+最近邻 Ising，对一般网络用”suggests/may be/RG-like”对冲；信息瓶颈”压缩相”被 Saxe 2018/Goldfeld 2019 反驳。

裁决落点（我们的断言）： 把训练动力学的统计物理当工具箱——可解模型给直觉、可测量给诊断、分岔给个别严格结果——是合理且富有成效的。把它当作”我们已经用统计物理理解了真实深度网络为何这样训练”，则是把类比误读成同构。这与 I-1 标度律 是同一种诚实：经验层 / 可解层为真，真实网络的机制层欠定或借词。

可信度：中。 历史地基与四轴各自的代表论文文献较稳；”两端真、中间借”的分层是我们的理论整合裁决；多处显式标注仍不确定（2025–2026 新作未复现、Rubin 摘要只确证”一阶相变+混相”而双势阱/滞后是正文主张、训练步数轴的”涌现”缺 Schaeffer 级系统拆解）。

一 历史地基：用统计物理分析学习，是 40 年的成熟传统

要判断”训练的统计物理”是真是借，先得知道它在哪里真过。答案是：在可解模型上，它不仅真，而且部分已是数学定理。这一层是后面四轴的参照尺。

1.1 经典统计力学学习理论（1982–1995）[文献较稳]

1.2 现代高维渐近：双下降、jamming、严格化（2016–2022）[文献较稳]

这一层的意义（理论整合）： “学习中有相变、有序参量、有临界指数”在可解模型上是严格的真物理，个别已是定理。所以后面四轴的问题不是”统计物理能不能描述学习”（能，且漂亮），而是”从可解模型搬到真实深度网络的训练过程，还剩多少是同构、多少降级为类比“。

二 四轴分层裁决

轴一 SGD = 随机动力学：可测量是真的，”温度/自由能”多是借词

核心图景 [文献较稳]： 把 SGD 写成离散朗之万 / 随机微分方程 $d\theta = -\nabla L\,dt + \sqrt{2T_{\text{eff}}}\,dW$，”有效温度” $T_{\text{eff}} \propto \eta/B$（学习率/批量）。这套图景有真实经验支撑：

真物理量（操作性定义清楚）： η/B、Hessian $H$、梯度噪声协方差 $C$、近极小处 $C \approx (\eta/B)H$ 的关系、噪声尾指数 α，都是可测的。Yaida 2019 的涨落-耗散关系（FDR）之所以站得住，正因为它只用稳态条件推导、不依赖 Boltzmann/Langevin 结构。

红队（”温度/自由能/FDT”在真实网络是借词）[文献较稳]：

  1. 噪声各向异性，”标量温度”失真。 Chaudhari-Soatto 2018（已亲核）：真实深网 SGD 的小批量梯度协方差秩低至维度的 ~1%，稳态不是 Boltzmann 分布，SGD 不在经典意义下收敛、最可能轨迹像闭合极限环、处于非平衡（out-of-equilibrium）；它最小化的是一个隐式修正势，并非训练损失本身。→ “温度”不是标量而是各向异性张量，”自由能”借了热力学直觉却没有平衡基础。
  2. 涨落-耗散关系反号。 Feng-Tu 2021, PNAS：实测权重方差与局部曲率成反比（inverse variance-flatness），与爱因斯坦/平衡 FDT 预言方向相反——SGD 是景观依赖的非平衡退火，不是平衡热浴。
  3. 连续 SDE 近似只在 η→0 严格。 Li-Malladi-Arora 2021：所有基于 Langevin 的 FDT 论证的 SDE 基础只在学习率趋零时有形式保证，实用学习率下的验证在计算上不可行。
  4. 噪声可能重尾，Fokker-Planck 失效。 Şimşekli 2019：梯度噪声更接近 α-stable（Lévy）重尾而非高斯，逃逸时间由轨迹几何（Hausdorff 维数）而非平衡势垒决定，标准 FDT 无有效类比。Zhu 2019 进一步证各向异性噪声逃逸尖锐极小的能力是各向同性 Langevin 无法解释的。

定级（我们的断言）：

  • η/B、Hessian、噪声协方差、Yaida FDR = 真可测物理量；
  • “有效温度 / 自由能”在近凸、近各向同性近似下 = 定量类比（有用、可缩放）；
  • 在真实（各向异性 / 非平衡 / 重尾 / 离散步长）情形下，把 SGD 当平衡热力学系统 = 隐喻 / 借词。FDT 作为字面恒等式不成立。

轴二 损失地形几何：经验图景较稳，物理类比多为功能类比

核心图景 [文献较稳]：

红队 [文献较稳]：

  1. 自旋玻璃类比依赖未证假设。 Choromanska 2015 把多层网损失类比球形自旋玻璃哈密顿量，需要变量独立、路径输入独立、均匀性三类强假设；作者自己承认真实网络”高度相关”，理论-实践吻合是”奇迹般”而非保证。→ 功能类比，非同构。
  2. “平坦↔泛化”不是定理。 Dinh 2017：利用 ReLU 正尺度不变性，可对任意极小重参数化出 Hessian 任意尖锐、但函数/训练损失/泛化完全不变的等价模型——所有依赖参数空间 Hessian 的”平坦度”都可被任意改变。平坦度是参数化的函数，不是函数本身的内在属性。Jiang 2020 大规模实测（>10000 网络）发现许多平坦度度量跨设置失去预测力。
  3. “鞍点主导”是渐近、非普适。 它源自随机高斯场（GOE）的随机矩阵渐近；过参数化区被重解读为”局部极小即全局极小、非全局临界点皆鞍点”；有限 ReLU 网有严格次优局部极小反例；BatchNorm/残差显著改变 Hessian 谱（Ghorbani 2019）。

定级（我们的断言）： 几何经验（鞍点结构、置换后近单盆地、Hessian 体相+离群值）= 较稳经验几何；自旋玻璃哈密顿量 = 功能类比（假设未证）；平坦↔泛化 = 非定理（参数化依赖）。

轴三 训练中的”相变”：三态分流，多数不是热力学相变

这是与 05-23 衔接最紧、也最需防”借词”的一轴。把训练过程中的”突变/转变”分三态裁决。

态 A：极少数是严格分岔（简化设置下真不连续）[文献较稳]

  • Edge of Stability（EoS）： Cohen 2021 实测全批量 GD 训练时 Hessian 最大特征值（sharpness）稳定在 2/η 略上方、损失短时非单调——原文不用”相变/分岔”。理论刻画为确定性动力系统：self-stabilization 负反馈（Damian 2023）、最小损失流形上的隐式正则（Arora 2022）、不稳定收敛（Ahn 2022）。其中真有严格分岔的是：Ahn 2023（threshold neurons） 证明存在步长临界点，低于它网络学不会阈值神经元（质的不能，非渐降）；Song-Yun 2023 用分岔理论严格对接 EoS 的轨迹对齐；Kalra 2025 给出倍周期分岔通往混沌。
  • Saddle-to-saddle： 小初始化下梯度流依次跳过一串鞍点、每跳增秩，损失曲线”平台→骤降”对应参数空间异宿轨道切换（真不连续）——但严格证明只在对角/深线性网（Pesme-Flammarion 2023、Jacot 2021）与正交/两层（Boursier 2022、Abbe 2023 leap）；先驱是 Saxe 2014 深线性精确解。

关键区分（我们的断言）： EoS 的 2/η 边界、saddle-to-saddle 的跳转，是确定性动力系统的分岔，不是统计物理意义上的热力学相变（无 N→∞ 热力学极限下的自由能非解析）。把它们叫”相变”是借词；叫”分岔”才精确。

态 B：grokking——三派鼎立，”相变”身份无定论[文献较稳：争议本身]

Power 2022 的延迟泛化（训练精度早早满分、验证精度数万步后才突跳）是训练时间轴上最像”相变”的现象。但解释三派对立、至今无共识：

派别 主张 代表 软肋
一阶相变 有效势含记忆/泛化两竞争解，序参量不连续跳变、伴混相 Rubin 2024（已亲核） 仅两层 teacher-student；摘要只确证”一阶相变+混相”，双势阱/滞后是正文主张；被熵采样反证
玻璃弛豫 记忆态=急冷玻璃，grokking=向高熵构型慢弛豫；测得记忆↔泛化间无熵垒（直接否一阶相变） Zhang 2025 玻璃是动力学描述、无定量临界指数；限算术任务；遍历性假设不平凡
机制/电路 渐进形成泛化电路（傅里叶+三角恒等式），三阶段”记忆→电路→清理”；可预测 ungrokking/semi-grokking Nanda 2023、Varma 2023 描述性、任务专属；不给热力学定量；Fourier 机制依赖模运算对称

另有 lazy→rich 转变解释（Kumar 2024：grokking 可无需正则化，是初始特征-标签不对齐 + 从 NTK 懒惰转向特征学习；此 Kumar 即 I-1 引”Scaling Laws for Precision”的同一作者，Pehlevan 组）、稀疏 vs 稠密子网竞争（Merrill 2023）、表示学习相图（Liu 2022、Omnigrok）。

关键 [我们的断言]： Nanda 用连续进度度量看，grokking 是渐进而非不连续——这与 05-02 的 Schaeffer 逻辑同型。2026 年才有人（Bi 2026，ΔAIC=16.8 排除平滑交叉）首次把 grokking 放进可证伪的有限规模框架，但其结论仍是”转变的阶尚未确定“。[仍不确定] 2026 编号（Bi 2603.24746、Cullen SLT 2603.01192）本报告只作最新进展跟踪、不作承重。

态 C：个别是外生扰动，根本不是相变 [文献较稳]

大模型训练的 loss spike（PaLM, Chowdhery 2022）可通过回滚到尖峰前检查点 + 跳过若干 batch 消除，强烈暗示是数据驱动的局部扰动而非参数空间结构性转变；机理与缓解见 Takase 2023 “Spike No More”、Nishida 2024 WeSaR。这类是”噪声诱导逃逸”，不是热力学相变。

轴三定级（我们的断言）： 态 A = 严格动力系统分岔（简化设置下同构），但≠热力学相变；态 B = 定量类比 + 大量度量工件（三派无定论，连续度量下渐进）；态 C = 外生扰动。把训练突变笼统叫”相变”，多为隐喻。

轴四 RG ↔ 深度 / 信息瓶颈：极窄同构 + 大面积隐喻

这是离物理学最近、也最容易被过度宣称的一轴。

4.1 重整化群映射 [文献较稳]

Mehta-Schwab 2014（已亲核） 构造 Kadanoff 变分 RG（VRG）与堆叠 RBM 的”exact mapping“，以一维/二维最近邻 Ising 为例。但亲核确认其边界极窄：

  • “exact”只指 VRG ↔ RBM ↔ 最近邻 Ising 这个三元组的代数等价；
  • 对长程 Ising，RBM 的 RG 流不能复现正确标度维数（已失效）；
  • 对一般深度学习，原文用对冲语言：”suggests that deep learning algorithms may be employing a generalized RG-like scheme”。

Lin-Tegmark-Rolnick 2017 主张深度学习成功源于物理定律的对称/局部/组合性、RG 只是其一，并提”反例”；Schwab-Mehta 2016 回应该反例源于对 Kadanoff VRG 的误解。近期把 RG 用于现代网络的工作都明确是受限框架而非严格映射：Li-Wang NeuralRG 2018（归一化流的特定架构）、Howard 2024 Wilsonian NNGP（仅高斯过程极限/无限宽）、Peraza Coppola 2025（已亲核）（弱非线性网 + 幂律数据，且明确承认谱离散性与缺平移不变性导致”与常规微扰 RG 有定量和定性偏差“，用”scaling intervals”替代”scaling dimensions”）。

定级（我们的断言）： VRG↔RBM↔最近邻 Ising = 狭窄同构；”层≈RG 步、注意力≈粗粒化”用于 Transformer = 隐喻；NNGP 极限 / 弱非线性框架 = 受限有效理论（前提苛刻、自承偏离常规 RG）。这正印证 05-20 收敛论：”RG-DL 只在 RBM+Ising 精确”。

4.2 信息瓶颈”压缩相”之争 [文献较稳]

Tishby-Zaslavsky 2015 + Shwartz-Ziv-Tishby 2017 主张训练分”拟合相 + 压缩相”两阶段。主要被反驳：

  • Saxe 2018, ICLR（J. Stat. Mech. 2019, DOI:10.1088/1742-5468/ab3985；注：此文无独立 arXiv 号，二手常误引的 1802.09766 实为 Amjad-Geiger 另一篇）：压缩相依赖双侧饱和非线性（tanh），ReLU 网不出现压缩却照样泛化；压缩与泛化无因果；全批量 GD（无 SGD 随机性）的 tanh 网仍压缩。
  • Goldfeld 2019, ICML：确定性网络的互信息 I(X;T) 要么常数（离散 X）要么无穷（连续 X），观察到的”压缩”实为隐层表示的几何聚类（tanh 饱和 + 分箱伪影），不是信息论压缩。

定级（我们的断言）： “压缩相”作为深度学习普遍机制 = 被反驳的经验主张；确定性深网中互信息定义本身有根本困难，Tishby 一方的回应（加权重衰减后两相重现）更像”特定条件下部分成立”。

4.3 NTK / lazy↔feature：宽度极限是真物理，”转变”是光滑过渡 [文献较稳]

无限宽极限下训练 = 固定核回归（Jacot 2018 NTK）是严格定理；lazy training 由初始化尺度决定（Chizat 2019）；唯一允许无限宽特征学习的是 μP（Yang-Hu 2021，应用 μTransfer 2022）。红队： NTK 是宽度→∞ 的理想极限，真实有限宽网在”懒惰↔丰富”混合区且经验 NTK 全程演化、scaling 指数差于有限宽网（Vyas 2023）；lazy→feature 的”临界尺度”α*~h^(-1/2)（Geiger 2020）只在无限宽渐近尖锐，有限宽是光滑过渡非真相变。定级： 宽度极限 = 严格定理；”lazy/feature 相变” = 极限下的定量类比（有限宽无奇点）。

三 综合裁决表

命题 证据档 裁决 / 定级
可解模型（感知机/teacher-student/随机特征）上有严格”学习相变” [文献较稳] 成立，部分是定理（Gardner α_c=2 / Barbier GLM / Mei-Montanari 双下降）
η/B、Hessian 谱、噪声协方差、sharpness 2/η 是可测物理量 [文献较稳] 成立（真可测量）
“有效温度 / 自由能”刻画真实 SGD 稳态 [文献较稳，反向] 借词——噪声各向异性(rank~1%)、非平衡、FDT 反号、可能重尾
涨落-耗散定理作为字面恒等式在真实 SGD 成立 [文献较稳，反向] 不成立（Feng-Tu inverse 关系；只有 Yaida 不依赖 Boltzmann 的 FDR 幸存）
损失地形”鞍点+置换后近单盆地+Hessian 体相/离群值”经验图景 [文献较稳] 成立（较稳经验几何）
自旋玻璃哈密顿量类比 / “平坦↔泛化” [文献较稳] 类比假设未证；平坦↔泛化非定理（Dinh 尺度不变性反例）
EoS、saddle-to-saddle 是参数空间真不连续转变 [文献较稳] 成立但是动力系统分岔（简化设置），≠热力学相变
grokking 是（一阶）相变 [有争议，无定论] 三派鼎立；熵垒缺失反证一阶相变；连续度量下渐进
训练 loss spike 是相变 [文献较稳，反向] 否——外生数据扰动，可回滚消除
RG↔深度网络是严格映射 [文献较稳] 仅 VRG+RBM+最近邻 Ising 同构；现代网络是隐喻/受限框架
信息瓶颈”压缩相”是普遍训练机制 [文献较稳，反向] 被反驳（Saxe/Goldfeld；确定性网 MI 定义困难）
训练动力学的统计物理 = “两端真、中间借”的桥 [我们的断言] 本报告落点

四 红队总账：哪些是真物理，哪些是借来的词

把四轴的”物理词”按可测性归类（我们的断言，证据见各轴）：

  • 真物理量（操作性定义清楚、可测）： η/B、Hessian 谱、梯度噪声协方差、sharpness（2/η）、Hausdorff/尾指数、内在维度；可解模型的序参量与容量 α_c。
  • 真分岔（数学严格，但限简化设置）： EoS 步长阈值、saddle-to-saddle 异宿切换、感知机/GLM 容量相变。
  • 定量类比（有用、但非同构）： SGD≈Langevin（近凸/各向同性近似）、T_eff∝η/B、jamming↔双下降、lazy↔feature 极限。
  • 隐喻 / 借词（搬到真实深网即失去严格性）： 真实 SGD 的”温度/自由能/平衡热力学”、把训练突变笼统称”相变”、Transformer”层≈RG 步”、信息瓶颈”压缩相”作普遍机制。

一句话：词是物理的，账要分开记。 在可解模型与可测量上记真账，在真实深度网络的”温度/相变/RG 流”上记类比账——这正是 05-20 收敛论 四级尺要求的。

五 可证伪预测（让本篇能被将来证错）

  1. 若有人在真实大模型（非 teacher-student）上测得 SGD 稳态满足平衡涨落-耗散关系（方差∝T/曲率、非反号）——则轴一”借词”判定被推翻。预测（我们的断言）：不会，inverse variance-flatness 会延续到大模型。
  2. 若 grokking 的”阶”被一个能跨任务（含自然数据）复现的判据唯一确定（一阶 / 连续 / 非相变三选一）——则轴三态 B 收敛。预测：短期内仍三派并存，连续度量下多呈渐进。
  3. 若出现对一般训练中有限宽网络的 RG 严格映射（非 GP 极限、非弱非线性、给出可外推的临界指数）——则轴四”隐喻”判定上移。预测：不会，谱离散+缺平移不变性是硬障碍（Peraza Coppola 自承）。
  4. 若信息瓶颈的”压缩相”在无饱和非线性、无分箱伪影、噪声注入下定义良好的互信息上仍稳健出现并与泛化有因果——则 Saxe/Goldfeld 反驳被翻案。预测：不会，确定性网 MI 定义困难是根本障碍。
  5. 若某真实大模型训练中观察到的”涌现式跃变”，在更细采样 + 连续度量下仍不连续且对应可测序参量的奇异性——则态 B 里”度量工件”份额下降、”真相变”份额上升。预测：>50% 的训练突变会被降解为渐进或外生扰动（接 Schaeffer）。

六 三个陷阱（速记，给头儿）

  1. “能用 Langevin 写出来”≠”它是热力学系统”。 η/B 当温度做缩放很好用，但真实 SGD 噪声各向异性、非平衡、FDT 反号——好用是工程事实，不是平衡物理。
  2. 训练里的”突变”先问三件事：度量连续吗？采样够细吗？能回滚吗？ 过半”相变”是离散度量 / 粗采样 / 外生 batch 扰动制造的，不是参数空间真有奇异性。EoS、saddle-to-saddle 是分岔不是热力学相变——别混。
  3. “RG / 信息瓶颈”是这一轴最重的两顶帽子。 RG 严格映射只在 RBM+最近邻 Ising；信息瓶颈”压缩相”被 Saxe/Goldfeld 反驳且确定性网 MI 没法良定义。用它们解释 Transformer，是隐喻，不是推导。

七 诚实缺口

  • “两端真、中间借”是结构判断（理论整合 + 我们的断言），不是单篇文献的结论；可被”真实大模型上某热力学关系其实成立”证伪。
  • Rubin 一阶相变：摘要只确证”一阶相变 + 混相”，双势阱 / 滞后 / 不连续跳变是正文主张（经 agent 转述、未逐字亲核全文），引用时已据实降权。
  • 2026 编号（Bi 2603.24746、Cullen 2603.01192） 与部分 2025 新作（Peraza Coppola 已亲核）引用尚低 / 未广泛复现，只作跟踪、不作承重——延续 I-1 对未来日期编号的谨慎。
  • 训练步数轴的”涌现”缺 Schaeffer 级系统拆解：规模轴有 Schaeffer 2023 把 >92% 涌现归为度量工件，但训练时间轴上还没有同等系统的工件 vs 真相变普查，态 B 的份额划分是我们的推断。
  • saddle-to-saddle / EoS 分岔严格证明几乎全在线性 / 两层 / 梯度流；真实大模型多用 Adam（非梯度流），理论-实践鸿沟未弥合。
  • 信息瓶颈 Saxe 2018 无独立 arXiv 号，本报告挂 OpenReview + DOI；引用者勿挂 1802.09766（那是 Amjad-Geiger 另一篇）。

关键来源（分组，全部可点）

历史地基：统计力学学习理论

现代高维渐近 / 双下降 / jamming / 严格化

  • Advani-Saxe 2017, High-dimensional dynamics of generalization error — arXiv:1710.03667 · Belkin 2019, Double descent — PNAS
  • Mei-Montanari 2022, Random features regression precise asymptotics — CPAM 75:667, DOI · Hastie 2022, Ridgeless interpolation — Ann. Stat., DOI
  • Geiger 2019, Jamming paradigm — PRE 100:012115 · Spigler 2019, Jamming under→over-param — J. Phys. A 52:474001
  • Barbier 2019, Optimal errors and phase transitions in GLMs — PNAS · Zdeborová-Krzakala 2016, Statistical physics of inference — Adv. Phys.

轴一 SGD 随机动力学

轴二 损失地形几何

轴三 训练相变

轴四 NTK / lazy-feature / RG / 信息瓶颈

关联笔记

标签: