跳至正文

神经标度律的第一性原理：一条”经验极稳、机制欠定、外推不可靠”的唯象律

目录

这是研究主线从「生物/抗衰」转向「物理 / AI / 物质」后的第一篇（群 I「AI 的物理学」子课题 I-1）。母方法论沿用 05-20 收敛论 立下的「同构 vs 定量类比 vs 功能类比 vs 隐喻」四级分级，与 05-05 过拟合、05-23 相变 的 AI 部分接续。范围聚焦第一性原理（为何幂律、指数由什么决定、何时失效），命题档位为强命题 + 显式标注待验证。

证据档标签：[文献较稳] = 多来源一致、已被复现/同行评审；[理论整合] = 我们把多条文献缝起来的结构判断；[我们的断言] = 本报告的裁决/排序；[仍不确定/弱] = 单一来源、未复现或检索为空。

〇 一句话裁决 + 可信度

**裁决：神经标度律是一条「经验上极稳健、机制上多解欠定、外推上不可靠」的唯象律（phenomenological law）。它的地位更接近热力学被还原成统计力学之前的经验气体定律——可靠、可用、有约束，但尚未第一性原理化——而不是一条已经从微观推导出来的物理定律，也不只是一次无机制的曲线拟合。**

四点展开（每点详证见正文）：

  1. 经验现象层是真的。 [文献较稳] loss 随参数量 N、数据量 D、算力 C 幂律下降，跨 7 个以上数量级、跨模态（语言/视觉/音频）、200+ 模型被独立复现（Kaplan 2020 亲核确认”spanning more than seven orders of magnitude”；Henighan 2020 多模态；Zhai 2022 ViT）。这一层不容否认。
  1. 但「幂律」的严格统计身份从未被检验。 [文献较稳：这是检索到的真实空白] 整个领域都在 log-log 图上目测一条直线，至今没有任何论文用 Clauset-Shalizi-Newman 2009 那套标准（MLE 估指数 + Kolmogorov-Smirnov 拟合优度 + 对数正态/指数截断的似然比检验）把”幂律”和”对数正态/对数/断裂”区分开。函数形式很可能只是某区间的好近似（(Mis)Fitting survey 2025 调查 50+ 篇，指出拟合对设置高度敏感、关键细节普遍漏报）。
  1. 指数不是普适常数。 [文献较稳] Kaplan 与 Chinchilla 对同一现象拟合出 N∝C^0.73 vs N∝C^0.50 两套指数，根源是参数计数方式（非嵌入 vs 总参数）与方法学细节（Pearce & Song 2024, TMLR 调和）；指数随数据冗余度/实现漂移，且连支持方 Bahri et al. 2024 PNAS 都承认：没有理论能从第一性原理定量预测任何真实 LLM 的标度指数，必须从数据拟合。
  1. 最自洽的微观图景会聚到一个核心：数据的幂律谱 / 低维流形 / 重尾（Zipf）结构。 [理论整合] 流形维度派（Sharma-Kaplan）、核谱/随机特征派（Maloney-Roberts-Sully、Bahri、Bordelon-Pehlevan）、离散技能派（Michaud Zipf、Hutter）在数学上殊途同归到”协方差/核的幂律谱 → 幂律泛化”。但每派都停在简化模型，同一条曲线可被多个机制欠定地解释。

**裁决落点（我们的断言）：「标度律是物理定律」是过度宣称；「标度律只是曲线拟合」是低估。准确定位 = 有约束的有效经验律——函数形式有理论支撑（幂律谱几乎是数学必然），但指数值无第一性原理、外推需谨慎、失效模式真实存在。把它当工程规划工具用是合理的；把它当”我们理解了智能为何随规模提升”的证据，是把曲线拟合误读成机制。**

可信度：中。 经验地基（三幂律、Chinchilla 修正、数据墙、失效模式）文献较稳；”几派会聚到幂律谱”是理论整合；”唯象律而非第一性原理定律””欠定”是我们的裁决；多处显式标注仍不确定（4/d 只在合成数据稳、RG 框架是 2025 单一来源、Clauset 检验是空白）。

一 经验地基：标度律到底说了什么（这一层文献较稳）

1.1 Kaplan 2020：三条幂律 + “算力多投模型”

[文献较稳，已亲核] Kaplan et al. 2020, “Scaling Laws for Neural Language Models”, arXiv:2001.08361。交叉熵 loss 在”另两者不受限”时对每个变量呈单变量幂律：

单变量幂律 指数 说明
L(N) = (N_c/N)^α_N α_N ≈ 0.076 N = 非嵌入参数数
L(D) = (D_c/D)^α_D α_D ≈ 0.095 D = token 数
L(C_min) = (C_c/C_min)^α_C α_C ≈ 0.050 最优分配算力

联合形式 L(N,D) = [ (N_c/N)^(α_N/α_D) + D_c/D ]^α_D。算力最优分配的原始结论：N ∝ C^0.73、D ∝ C^0.27 —— 即把新增算力的绝大部分投到模型规模、只少量加数据，”训练很大的模型、用相对少的数据、在收敛前显著提前停止”（摘要亲核原文：”training very large models on a relatively modest amount of data and stopping significantly before convergence”）。这直接塑造了 GPT-3（175B/300B token）的配方。

1.2 Chinchilla 2022：修正为 N ∝ D（约 20 token/参数）

[文献较稳，已亲核] Hoffmann et al. 2022, “Training Compute-Optimal LLMs”, arXiv:2203.15556（NeurIPS 2022）。摘要亲核确认当时的大模型”significantly undertrained”，核心修正：

  • 计算最优下 N 与 D 应等比例增长：N ∝ C^0.50、D ∝ C^0.50（即 N ∝ D）；”for every doubling of model size the number of training tokens should also be doubled”。
  • 经验规则 ≈ 20 token/参数；用同算力训练的 Chinchilla（70B / 1.4T token）全面超越 Gopher 280B、GPT-3 175B（MMLU 67.5%，亲核确认）。
  • 三种独立方法（固定模型扫数据 / IsoFLOP / 参数化 loss 拟合）结论一致，参数化形式 L(N,D) = E + A/N^α + B/D^β，α ≈ 0.34、β ≈ 0.28。

Kaplan ≠ Chinchilla 的根因 [文献较稳]： Pearce & Song 2024, TMLR, arXiv:2406.12907 指出主因是参数计数方式不同（Kaplan 只算非嵌入参数、Chinchilla 算总参数）+ 实验规模不同；学习率调度被证明不是主因。——这一条本身就是 §四 红队的种子：同一现象、两组严肃团队、不同指数。

1.3 边界扩展：数据受限、推理时

  • 数据受限 [文献较稳]： Muennighoff et al. 2023, arXiv:2305.16264（NeurIPS 2023）：重复数据 ≤ 4 个 epoch 对 loss 影响可忽略（≈新数据），之后加算力的边际价值衰减到零、极端重复会发散。注：后续 arXiv:2511.13421 指出”4 epoch”非普适、依赖数据规模与分布，应视为中等规模英文语料的经验近似。
  • 推理时/测试时标度 [部分较稳、部分仅公司公告]： Snell et al. 2024, arXiv:2408.03314（预印本）与 Wu et al. 2024, arXiv:2408.00724（ICLR 2025）证明：在算力匹配下，推理时算力可换取性能、对部分问题超过更大模型。但 OpenAI o1 的”推理算力→AIME 分数”曲线只来自博客与 System Card、非同行评审，精确数值与是否为幂律未公开。此维度尚无统一参数化幂律，收益形式仍有争议——本报告不将其当作已确立的标度律。

二 母问题：为什么是幂律、指数由什么决定 —— 四派理论

这是全篇核心战场。四派各给一个”幂律从哪来”的机制故事。

2.1 派一：数据流形维度（α ≈ 4/d）

[teacher-student 较稳；真实模型 less clear] Sharma & Kaplan 2020/2022, JMLR 23(9), arXiv:2004.10802。直觉链：数据集中在 ℝ^D 里一个 d 维内在流形上（d ≪ D）；样本量 D 时，测试点到最近训练点的典型距离 ~ D^(−1/d)；在最近邻处展开 loss（训练点 loss=0，最低非零项为 n 阶），得 L ~ D^(−n/d)；把参数量 N 当”对流形的分辨率”，于是 α ≈ n/d。分段线性近似同时匹配函数值与一阶导 → n=4 → α ≈ 4/d。

  • 验证现状（诚实）： 合成 teacher-student 数据上 d=2…9 时 α≈4/d 吻合良好 [文献较稳]；但真实 CNN/LLM 上”less clear”（Bahri 2024 原文），语言模型只能当下界报告（内在维度估计器在大 d 系统性低估）[仍不确定]。
  • “4”不是定理 [仍不确定]： Havrilla & Liao 2024, NeurIPS, arXiv:2411.06646 用严格逼近论得 α_N = 2β/d（β=目标函数 Hölder 光滑度），Lipschitz（β=1）时是 2/d 而非 4/d；要回到 4/d 需 β=2。光滑度 β 在真实任务里测不准，理论留了自由参数。
  • d 本身难测 [文献较稳]： Pope et al. 2021, ICLR, arXiv:2104.08894 测得图像内在维度（MNIST≈11、CIFAR-10≈25、ImageNet≈40），但未直接验证 α=4/d；不同维度估计器（TwoNN/MLE）互相矛盾、不同网络层给不同 d。→ α=4/d 的数值验证有内生困难：验证成立不能完全确认理论，不成立也可能只是 d 估错。

2.2 派二：核谱 / 随机特征（幂律谱 → 幂律标度；四区制）

这是目前最”接近第一性原理”、数学最干净的一派。

  • 随机特征可解模型 [文献较稳]： Maloney, Roberts & Sully 2022, arXiv:2210.16859（注：第三作者是 James Sully，不是 Sussillo——agent 联网纠正，必须用对）。在 N,D→∞ 双极限精确求解：数据协方差的幂律谱经随机特征映射延伸到特征空间，直接给出对 N、D 的幂律 loss；谱的有限延伸 → 性能平台（标度失效）；并证明等比例增大 N、D 最优（与 Chinchilla 一致）。
  • 四区制统一图景 [文献较稳]： Bahri, Dyer, Kaplan, Lee, Sharma 2021/2024, PNAS 121(27)（arXiv:2102.06701）。把 N、D 各分两区，共四区：
区制 指数 机制 受流形维度影响？
Variance-limited（数据/参数侧） α = 1 中心极限：波动 ~1/D 或 1/W 否（普适、与架构无关）
Resolution-limited（数据/参数侧） α ∝ 1/d 最近邻分辨率 / 核谱 是

关键定理：参数标度指数 = 数据标度指数 = 核谱衰减指数 α_K；光滑 C^t 核在 d 维流形上 λ_n ≲ n^(−(1+t/d))，饱和时 α_K ∝ t/d。→ 流形维度只是核谱衰减的几何解释；二者是同一件事的两面。

2.3 派三：离散技能 / Zipf（量子化模型）

[NeurIPS 2023 发表、较稳；第一性原理仍缺一环] Michaud, Liu, Girit & Tegmark 2023, arXiv:2303.13506。三公理：能力是离散”quanta”（全有/全无的技能单元，QH1）；按使用频率从高到低依次习得（QH2）；频率服从 Zipf 幂律 p_k ∝ k^(−(α+1))（QH3）。直接推出 L(n) − L_∞ ∝ n^(−α)，loss 标度指数 = Zipf 指数 α。

  • 它顺带解释了”涌现”： 单型样本（依赖单个 quantum）→ 该 quantum 被学会的瞬间 loss 尖锐跳变=涌现；多型样本（依赖大量分散 quanta）→ 平滑下降。聚合 loss 平滑 = 大量离散跳变被平均掉。
  • 缺口（作者自陈）[仍不确定]： 为何频率是 Zipf，论文没从第一性原理解释，是外部假设；LLM 上验证是”tentative”；Brill 2024, arXiv:2412.07942 发现网络是并行学 quanta 而非严格按序，削弱 QH2 严格版。

2.4 派四：数据分布 / 渗流（重尾结构）

[较新、单一来源为主，仍不确定] Hutter 2021, arXiv:2102.04074：在最简玩具模型（Zipf 离散特征 + 记忆算法）里，只要输入分布是 Zipf 的（自然语言已知近 Zipf），幂律标度就是数学必然——但记忆算法不代表真实网络学习。Brill 2024 用渗流（percolation）给幂律，强调流形视角忽略了自然数据的离散重尾。

2.5 会聚与分歧

[理论整合 —— 本报告的结构判断] 把四派叠在一起，它们在数学上会聚到同一个核心对象：数据的幂律谱 / 低维流形 / 重尾（Zipf）结构：

              ┌─ 流形维度 d（几何语言）
数据的幂律谱  ┼─ 核/协方差谱衰减指数 α_K（泛函语言）   →  幂律泛化 L ∝ N^−α, D^−α
（重尾结构）  ┼─ 随机特征宽网络代理（NTK 退化）
              └─ Zipf 技能频率（离散/信息语言）
  • 会聚点 [文献较稳]： 流形维度 = 核谱衰减的几何解释（Bahri 对偶定理）；随机特征宽极限退化为核回归；Zipf 频率谱与协方差幂律谱是重尾结构的两种描述。“幂律进、幂律出”——若数据的某种谱是幂律，幂律标度近乎数学必然。 这是反方（标度律有真理论基础）的最强武器：Bordelon-Pehlevan 的”幂律谱 → 幂律学习曲线”是数学定理，前提（自然数据近重尾）有独立证据。
  • 分歧/欠定点 [我们的断言]： 但”会聚”不等于”确证”。同一条经验曲线，可由流形维度、核谱、Zipf 技能、渗流四套机制分别拟合，且各自停在不同简化模型——这是经典的理论欠定（underdetermination）。更要命的是：没有一派能预测真实 LLM 的指数值（见 §4 关二）。会聚说明这些是”同一类故事的方言”，不说明我们已经能从微观算出宏观。

三 失效边界：标度律在哪里断

强命题必须先承认它的破绽。标度律的失效不是边角，而是裁决的一部分。

  1. 指数非普适常数 [文献较稳]： Kaplan（N∝C^0.73）vs Chinchilla（N∝C^0.50）已是活例；Besiroglu 等复现 Chinchilla 得到不同常数、B 系数不确定性巨大；“Scaling Laws are Redundancy Laws” 2025 论证指数 α 由数据冗余度（协方差谱尾部）决定，是数据依赖量而非普适常数。
  2. 断裂幂律 BNSL [文献较稳]： Caballero et al. 2023, ICLR, arXiv:2210.14891：真实曲线有非单调凸起（双下降）、拐点、平台、延迟改进，标准幂律在数学上根本表达不了——需要更复杂的”断裂幂律”。说明单一幂律是近似。
  3. 逆向 / U 形标度 [文献较稳]： McKenzie et al. 2023, arXiv:2306.09479（Inverse Scaling Prize）：11 个任务上更大模型更差；其中 10 个在 PaLM 540B 处反转成 U 形。→ 连标度的方向都不能放心外推。
  4. 数据墙 [文献较稳]： Villalobos et al. 2022/2024, arXiv:2211.04325：高质量公开文本约 300T token，按当前趋势 2026–2032（中位 ~2028）耗尽。”算力-数据-模型”无限三角有硬上限。
  5. 涌现：幻象还是真阈值 [有争议、两方都有据]： Schaeffer-Miranda-Koyejo 2023, NeurIPS 杰出论文, arXiv:2304.15004 证明 BIG-Bench 上 >92% 的”涌现”集中在两种不连续指标（Multiple-Choice Grade、Exact-String-Match），换连续指标（Brier/编辑距离）后平滑——”涌现”大半是度量工件（直接印证 05-02 涌现幻象）。但反方有力：Arora-Goyal 2023 证明复合技能（k 个子技能 AND）会有真阈值；Du et al. 2024, NeurIPS 用预训练 loss 为横轴发现某些任务在 loss 越过临界阈值时仍跳变（连续指标下也在）。调和（理论整合）： 平滑预训练 loss 与下游突现不矛盾——前者是海量 quanta 的平均，后者是关键 quantum/子技能组合恰好越阈；”涌现”应锚到”任务特定 loss 阈值”而非”模型规模”。

四 红队四关：有效理论还是曲线拟合（全篇裁决核心）

关一：这真的是「幂律」吗？——一个被整个领域跳过的检验

[文献较稳 + 检索空白] Clauset-Shalizi-Newman 2009, SIAM Review, arXiv:0706.1062（9400+ 引用）立下铁律：log-log 图上目测直线不足以证明幂律；最小二乘有系统偏差；必须 MLE + KS 检验 + 与对数正态/指数截断做似然比。他们检验 24 个”幂律”数据集，很多过不了关。

把这套搬到神经标度律：检索范围内，没有任何论文对神经标度律做过 Clauset 式严格检验——Kaplan、Chinchilla 都是 log-log 直观拟合，从没系统比较过”幂律 vs 对数正态 vs 对数 vs 断裂”。(Mis)Fitting survey 2025, arXiv:2502.18969 调查 50+ 篇、45 篇用幂律拟合，指出拟合对训练设置/数据来源/拟合算法高度敏感、关键可复现细节普遍漏报。→ 这是真实文献空白（”没人做”，不是”做了被证伪”），但它意味着”幂律”这个函数形式本身从未被严格确立，很可能只是某区间的好近似。 这一关是本报告区别于业界乐观叙事的核心。

关二：指数是物理常数，还是拟合产物？

[文献较稳] 反方最想要的是”普适指数”。但证据指向相反：

  • Kaplan vs Chinchilla 指数不同，根源是参数怎么数 + 方法学（Pearce-Song），不是两种不同的物理。
  • 实现细节（学习率、精度、调度）可让系数/指数大幅变化（Kumar et al. ICLR 2025 “Scaling Laws for Precision”、Besiroglu 复现得不同常数）。
  • 决定性的一条 [文献较稳]： Bahri et al. PNAS 2024 ——目前最系统的理论——自己承认没有理论能定量预测任何现代 LLM 在任何自然语言数据集上的标度指数，只能在随机特征简化模型里推、真实指数必须拟合。一个连支持者都无法预测其关键参数的”定律”，还不是第一性原理定律。

关三：多理论欠定

[文献较稳] §二列的四派（流形维度 / 核谱 / Zipf 技能 / 渗流），外加”冗余度决定指数”（2509.20721），至少五套机制各自独立声称解释同一组幂律。它们在简化极限里会聚到”幂律谱”，但在真实模型层面给不同微观图景、互不能排除。同一条曲线 + 多个机制 = 欠定。 会聚是好事（说明有共同结构），但不能假装欠定不存在。

关四：裁决——用「同构/类比/隐喻」+ 有效理论标准定位

沿用 05-20 收敛论 的尺子：

  • 是不是与物理临界现象「同构」？ [我们的断言] 否。标度律有”幂律 + 跨尺度”的形式相似，05-23 相变 也画过 scaling 相图，但缺统计物理临界现象的核心要件：没有可控的控制参量把系统调到临界点、没有发散关联长度的实测、没有普适类的跨架构指数严格相等（指数反而漂移）。“标度律 = 相变/临界”目前是定量类比，不是同构。（注：2025 年有 RG-for-DNN 框架 尝试把残差网络的”对数平移不变”接到重整化群，[仍不确定] 单一来源、2025 新作、未广泛复现，作为可跟踪线索而非证据。）
  • 达到「有效理论」标准了吗？ 有效理论的门槛是：粗粒化后有稳健、可外推、可证伪的宏观规律（像热力学）。标度律部分达标（函数形式有核谱理论支撑、工程上可用于算力规划），部分不达标（指数不可预测、外推到下游任务仅 39% 可靠、失效模式多）。
  • 落点 [我们的断言]： 神经标度律 = 唯象律 / 有约束的有效经验律，介于”有效理论”与”曲线拟合”之间，偏唯象。函数形式（幂律谱→幂律）几乎是数学必然，这给了它高于纯拟合的地位；但指数无第一性原理、外推不可靠，这使它低于成熟有效理论。它是”被发现但尚未被还原”的经验律。

五 综合裁决 + 可信度分档

命题 证据档 裁决
loss 随 N/D/C 幂律下降、跨 7+ 数量级、跨模态复现 [文献较稳] 成立（经验现象层）
“幂律”经过严格统计检验（vs 对数正态/对数/断裂） [仍不确定/空白] 从未做过——函数形式未被严格确立
标度指数是可从第一性原理预测的普适常数 [文献较稳，反向] 否——依赖参数计数/数据冗余/方法学，支持方自承无法预测
微观机制会聚到”数据的幂律谱/低维流形/重尾” [理论整合] 成立但欠定（≥5 套机制拟合同一曲线）
函数形式（幂律谱→幂律）有理论必然性 [文献较稳] 成立（核谱→幂律是数学定理，前提有据）
标度律可可靠外推到更大规模/下游任务 [文献较稳，反向] 不可靠（BNSL/inverse/数据墙/下游仅 39% 幂律）
“涌现”是真实相变 [有争议] 大半是度量工件（Schaeffer），少数复合任务有真阈值（Du/Arora）
标度律是”物理定律” [我们的断言] 过度宣称
标度律”只是曲线拟合” [我们的断言] 低估
标度律 = 有约束的有效经验律（偏唯象） [我们的断言] 本报告落点

六 可证伪预测（让这篇能被将来证错）

  1. 若有人对多个模型族的 loss-N/D 曲线做 Clauset 式严格检验，且幂律稳定打败对数正态/断裂——则”未严格确立”一条被推翻，标度律向”有效理论”上移。预测（我们的断言）：相当一部分曲线会更适合对数正态或断裂幂律，尤其在大规模端。
  2. 若出现一个理论能事先预测某新架构/新模态的标度指数（误差小、无需事后拟合）——则关二被推翻。预测：短期内不会，指数仍需拟合。
  3. 若数据的核谱/内在维度被独立测量，且 α 与之的关系（α_K 或 4/d）在真实 LLM 上定量吻合（非仅 teacher-student）——则派一/派二从”会聚故事”升为”确证机制”。预测：会定性吻合、定量偏差大（d/谱估计的方法学误差盖过）。
  4. 若跨架构/跨模态指数在严格测量下相等（真普适类）——支持”同构于临界”。预测：只会”相近不相等”，指数随设置漂移。
  5. 数据墙判决： 若 2028 后高质量文本耗尽而合成数据/多模态未能维持同样的预训练 loss 幂律——则”无限三角”被经验证伪（这是最快能验的一条）。

七 三个陷阱（速记，给头儿）

  1. “能外推”≠”理解了机制”。 标度律好用（GPT-3/Chinchilla 都靠它规划），但好用是工程事实，不是机制证明；指数仍得拟合，谁也算不出来。
  2. “幂律”是个统计承诺，不是看图说话。 Clauset 那一关整个领域跳过了；log-log 直线在对数正态/断裂面前并不稳。别把”图上是直的”当”它是幂律定律”。
  3. “涌现/相变”多半是度量制造的。 接 05-02：换连续指标，>92% 的”涌现”在 BIG-Bench 上消失。真阈值只剩复合技能那一小撮。

八 诚实缺口

  • Clauset 式严格幂律检验在神经标度律上是干净空白——本报告最强的红队点，恰恰建立在”没人做过”上；这既是我们的论据，也是我们的脆弱处（万一有人做了且幂律稳健，关一就软）。
  • α=4/d 仅在合成 teacher-student 稳；真实模型 less clear、d 测不准、Havrilla-Liao 给 2/d，”4″无定理地位。
  • 特征学习区的标度理论刚起步（Bordelon 2024），核极限/lazy 之外的真实训练机制未被覆盖。
  • RG↔标度律（2510.25553 等）是 2025 单一来源新作，未复现，只能跟踪。
  • 推理时标度尚无统一幂律、关键证据来自公司公告，本报告刻意未将其当确立结论。
  • 几条 2026 年新预印本（冗余律、有效前沿等）引用尚低、需持续观察，本报告只在反方/分歧处轻引、不作承重。

关键来源（分组，全部可点）

经验地基

理论解释（四派）

失效边界与涌现之争

  • Caballero et al. 2023, Broken Neural Scaling Laws — arXiv:2210.14891
  • McKenzie et al. 2023, Inverse Scaling: When Bigger Isn’t Better — arXiv:2306.09479
  • Villalobos et al. 2022/2024, Will We Run Out of Data? — arXiv:2211.04325
  • Wei et al. 2022, Emergent Abilities of LLMs — arXiv:2206.07682
  • Schaeffer, Miranda & Koyejo 2023, Are Emergent Abilities a Mirage? — arXiv:2304.15004
  • Arora & Goyal 2023, A Theory for Emergence of Complex Skills — arXiv:2307.15936
  • Du et al. 2024, Understanding Emergent Abilities from a Loss Perspective — arXiv:2403.15796

红队 / 元层

前沿/跟踪（仍不确定，未作承重）

关联笔记

标签: