世界结构假设——深度学习泛化的第三条腿

问题
简短结论
可信度
关键结论
证据与来源
我的判断
不确定点 / 诚实缺口
后续问题
关联笔记

问题

在解释深度学习为何能泛化时，「世界结构假设」是常被诉诸的第三足：真实数据分布并非最坏情况，而是具有低维流形、对称/等变、组合性、幂律谱等结构。本子课题需要核查：

这些结构假设是否有严格的数学定理或可靠的实验证据？
它们能在多大程度上单独解释泛化？与形式约束（NFL/PAC/VC）和隐式偏置（优化/架构/训练动力学）的关系是什么？
其中哪些断言已超出证据、落入过度外推？

简短结论

世界结构假设是解释深度学习泛化的必要但非充分的一足。

形式约束先立硬边界：NFL、PAC/VC 等定理说明，没有关于数据/目标函数的结构假设，就不可能有泛化保证。
流形、对称、幂律谱有真实证据：低维流形假设可被检验（Fefferman et al. 2016），对称/等变能严格提升样本效率（Elesedy & Zaidi 2021），真实数据协方差常呈幂律谱，能解释 scaling laws 的部分形态。
组合性与自然抽象仍脆弱：人造组合任务（SCAN/COGS）显示标准神经网络在系统性组合泛化上失败明显；natural abstractions 的「存在性」与「冗余信息形式化」两主张目前多为猜想或弱证据。
scaling laws 是经验唯象律：跨 7+ 数量级成立，但幂律身份很少被严格检验，指数普适性未确立，不能简单外推为「AGI 必然」或「世界简单」。

与母裁决的关系：归纳问题的真正答案是「形式约束 + 隐式偏置 + 世界结构」三足鼎立。世界结构解除 NFL 的最坏情况，但不能单独推出泛化；它必须与算法偏置和训练动力学 jointly 才能解释深度学习。

可信度

Overall: draft，子课题 D 初步文献核查完成。
稳健部分：NFL/PAC/VC 形式定理；Fefferman 等人对流形假设的检验框架；Elesedy & Zaidi 等变线性模型的严格泛化增益；Kaplan/Hoffmann 的 scaling laws 经验拟合。
理论整合：Lin et al. 的物理结构解释；Bahri et al. 的幂律谱→scaling laws 机制；Chan, Lang & Jenner 对 natural abstractions 的梳理。
待核对：natural abstractions 的 universality/discreteness/low-dimensionality 声称；组合性在真实语言中的机制；scaling 指数在真实大模型中的第一性原理来源；部分关键文献全文未细读。

关键结论

形式约束是世界结构假设的陪衬而非竞争者。Wolpert 1996 的 NFL 定理说明：若对目标函数无任何结构假设，所有算法在平均意义下等价。PAC/VC 进一步说明：有限样本保证需要假设类容量有限且目标在类内（或分布结构）。因此「世界有结构」不是循环论证的空话，而是获得泛化保证的必要前提。
流形假设：可检验，但「真实数据在流形上」是统计近似。Fefferman 等人给出在已知内蕴维度 d、体积 V、reach τ 时，可用样本复杂度独立于环境维度 p 地检验流形拟合；Tenenbaum 等人的 Isomap 是经验算法。但「流形」不等于「光滑低维子流形」，真实数据可能是有奇点、多尺度或分形结构。
对称/等变：严格提升样本效率，但前提是目标真有该对称。Elesedy & Zaidi 2021 证明，在 G-等变线性回归中，强制等变性会降低有效参数维度，从而严格降低期望泛化误差。这是世界结构与模型偏置协同的清晰例子。
组合性：局部成功与系统性失败并存。Lake & Baroni 2018 的 SCAN 和 Kim & Linzen 2020 的 COGS 显示，标准 seq2seq/Transformer 在需要组合泛化的测试拆分上显著失败。LLM 在更大规模上表现出部分组合能力，但机制尚不清，且「组合性」本身有多种定义。
scaling laws：经验稳健但机制多解。Kaplan et al. 2020 发现 loss 随 N、D、C 幂律下降；Hoffmann et al. 2022 修正了最优 N/D 配比。Bahri et al. 2024 指出，高斯输入下幂律协方差谱可推出幂律学习曲线，但真实语言数据的 scaling 指数仍无法第一性原理预测。
natural abstractions：存在性与形式化两主张分离。Universality Hypothesis（不同认知系统学到相似抽象）目前主要是直观和少量经验；Redundant Information Hypothesis（自然抽象=冗余/守恒信息的函数）有 Telephone theorem、gKPD theorem 等部分定理，但离散性、低维性、跨系统收敛性均未证明。

证据与来源

1. Wolpert 1996 — NFL 定理的形式边界

中文摘要：在监督学习的「无免费午餐」框架中，若对目标函数不加结构假设，则所有学习算法在期望 off-training-set 误差上无差别。它奠定了「世界结构假设」的必要性：要谈泛化，必须先假设目标不是最坏情况。
原始关键句/定理：
> “For any two learning algorithms A and B, the mean off-training-set errors averaged over all target functions y are exactly the same for any training set T.”（arXiv:1909.09706 等转述）
>
> 形式化：uniformly over all f, \(E_f\{\hat{R}_{X,f}^{(n)}(L_1)-\hat{R}_{X,f}^{(n)}(L_2)\}=0\)。
前提/结论/边界：
前提：有限输入空间；loss 为 off-training-set（OTS）误差；对「所有可能目标函数」取均匀平均。
结论：任何两个算法的期望 OTS 误差相等；若 A 在某类问题上更好，则必存在另一类问题使其更差。
边界：均匀平均是关键；一旦对函数空间引入非均匀先验（如偏好光滑、低复杂度、对称等），NFL 不再禁止算法差异。
URL/DOI：
原文：Wolpert, D. H. (1996). The Lack of A Priori Distinctions Between Learning Algorithms. Neural Computation, 8(7), 1341–1390. https://doi.org/10.1162/neco.1996.8.7.1341
形式化转述（arXiv:1909.09706 附录）：https://arxiv.org/abs/1909.09706
证据标签：\[文献较稳\]

2. Valiant 1984 / Blumer et al. 1989 — PAC 可学习性与 VC 界

中文摘要：PAC 框架把「可学习」定义为：存在算法，对任意数据分布、任意目标概念，能以高概率学到误差不超过 ε 的假设，且样本量对 1/ε、1/δ 和概念类复杂度多项式增长。VC 维给出了样本复杂度的精确刻画。
原始关键句/定理：
> Blumer et al. 1989：若概念类 C 的 VC 维为 d，则任何输出一致假设的学习器可用样本量
> \[m(\varepsilon,\delta)=\max\left(\frac{4}{\varepsilon}\log\frac{2}{\delta},\;\frac{8d}{\varepsilon}\log\frac{13}{\varepsilon}\right)\]
> 达到误差不超过 ε、置信度 1−δ。
前提/结论/边界：
前提：目标概念属于假设类 C；数据 i.i.d.； learner 返回一致假设。
结论：有限 VC 维是可学习性的充要条件；样本复杂度与 d/ε 成正比。
边界：分布无关（distribution-free）导致样本复杂度对最坏分布成立；若额外假设数据在流形上或具有对称性，样本复杂度可显著改善。
URL/DOI：
Valiant 1984：http://www.cs.cmu.edu/~./mbl/Computational_Learning_Theory/Valiant_1984.pdf
Blumer et al. 1989：https://doi.org/10.1145/76359.76371
证据标签：\[文献较稳\]

3. Fefferman, Mitter & Narayanan 2016 — 检验流形假设

中文摘要：首次给出「流形假设」的严格统计检验框架：给定 i.i.d. 样本，可以在样本复杂度仅依赖内蕴维度 d、体积 V、reach τ，而不依赖环境维度 p 的情况下，判断数据是否落在某个低维流形附近。
原始关键句/定理：
> 设 P 为支撑在单位球内的未知分布，G(d,V,τ) 为体积 ≤V、reach ≥τ 的子流形类，L(M,P)=∫d(x,M)²dP(x)。算法以概率 ≥1−δ 区分：
> (1) 存在 M∈G(d,CV,τ/C) 使 L(M,P)≤Cε；
> (2) 不存在 M∈G(d,V/C,Cτ) 使 L(M,P)≤ε/C。
> 样本复杂度 s(d,V,τ,ε,δ) 仅依赖 d,V,τ，不依赖环境维度 p。
前提/结论/边界：
前提：数据 i.i.d.；流形类有界体积和正 reach；检验是双侧近似（至少一侧成立）。
结论：流形假设在统计上可检验，并可避开维度灾难。
边界：需要预先知道 d,V,τ；实际数据未必严格满足光滑子流形假设；算法计算复杂度未要求高效。
URL/DOI：
arXiv：https://arxiv.org/abs/1310.0425
JAMS 发表：https://doi.org/10.1090/jams/852
证据标签：\[文献较稳\]

4. Tenenbaum, de Silva & Langford 2000 — Isomap 与经验流形

中文摘要：提出 Isomap 算法，用局部测地距离恢复全局非线性几何，为「高维数据位于低维流形上」提供了早期经验算法。论文强调人脑感知也做类似的维度约减。
原始关键句/数字：
> “Our approach is capable of discovering the nonlinear degrees of freedom that underlie complex natural observations, such as human handwriting or images of a face under different viewing conditions. … for an important class of data manifolds, [it] is guaranteed to converge asymptotically to the true structure.”
前提/结论/边界：
前提：数据点位于或靠近光滑低维流形；局部距离可可靠估计。
结论：Isomap 可恢复全局几何；在渐近意义下收敛到真实流形结构。
边界：是经验算法与渐近保证，不是有限样本泛化定理；对噪声、流形外点、非光滑结构敏感。
URL/DOI：
Science：https://doi.org/10.1126/science.290.5500.2319
证据标签：\[文献较稳\]

5. Cohen & Welling 2016 — 群等变卷积网络

中文摘要：把卷积从平移群推广到任意离散群，提出 G-CNN。关键观察是：卷积可被定义为对群作用的等变线性映射；利用对称性可提升统计效率。
原始关键句/数字：
> “We introduce Group equivariant Convolutional Neural Networks (G-CNNs), a natural generalization of convolutional neural networks that reduces sample complexity by exploiting symmetries.”
前提/结论/边界：
前提：数据分布和目标任务具有群 G 作用下的等变性。
结论：G-CNN 保持等变性，并在旋转/反射 MNIST、CIFAR 等任务上提升性能。
边界：是架构构造与经验验证；严格的泛化增益由后续 Elesedy & Zaidi 2021 在简化线性模型中证明。
URL/DOI：
PMLR：http://proceedings.mlr.press/v48/cohenc16.html
arXiv（ Steerable CNNs 后续）：https://arxiv.org/abs/1612.08498
证据标签：\[文献较稳\]

6. Elesedy & Zaidi 2021 — 等变模型的严格泛化增益

中文摘要：首次在线性模型中对等变/不变模型给出非零、严格的泛化增益定量定理。证明强制等变性会降低有效参数维度，从而降低期望测试误差。
原始关键句/定理（Theorem 13）：
> 设输入 X∼N(0,σ_X² I_d)，Y=ΘᵀX+ξ，Θ 是 G-等变线性映射。令 (χ_ψ|χ_φ)=∫_G χ_ψ(g)χ_φ(g)dλ(g) 为表示特征标的内积。W 为最小二乘估计，\(f_{\bar W}\) 为其 G-等变投影版本。若 n>d+1，则泛化间隙
> \[E[\Delta(f_W,f_{\bar W})]=\sigma_\xi^2\,\frac{dk-(\chi_\psi|\chi_\phi)}{n-d-1}.\]
> 当 n 接近插值阈值 [d−1,d+1] 时，若 f_W 非 G-等变，泛化间隙发散。
前提/结论/边界：
前提：线性模型；高斯输入（或 O(d)-不变、绝对连续分布）；噪声独立同方差；G 为紧致群，具有正交表示。
结论：强制等变性严格降低期望测试误差；增益正比于被等变约束消去的参数维度 dk−(χ_ψ|χ_φ)。
边界：限于线性回归；真实深度网络中的等变增益依赖于非线性、优化、数据增强等复杂因素；若目标并不真正等变，强制等变可能带来近似误差。
URL/DOI：
PMLR：http://proceedings.mlr.press/v139/elesedy21a.html
arXiv：https://arxiv.org/abs/2102.10333
证据标签：\[文献较稳\]

7. Lake & Baroni 2018 — SCAN：组合泛化的系统性失败

中文摘要：用 SCAN 数据集测试神经网络是否能像人类一样进行系统性组合泛化。发现标准 seq2seq 在随机拆分上可高达 99.7%，但在需要组合泛化的拆分上显著失败。
原始关键句/数字：
> “The best-performing network for this experiment achieved 99.8% correct on the test set … The overall-best network achieved 99.7% correct.”（random split）
>
> “The best result (20.8% on average … ) is achieved by a GRU with attention … The overall-best model achieves 13.8% accuracy.”（length split）
>
> “Overall, the networks were highly successful at generalization … However … the best network performed at only 1.2% accuracy”（add-jump split）
前提/结论/边界：
前提：训练集覆盖所有基元，测试集要求把熟悉基元组合到新结构/长度。
结论：标准神经网络在随机分布内泛化优秀，但在组合泛化上失败明显。
边界：SCAN 是人造语言；后续改进架构（如卷积、元学习、句法注意力）可大幅提升，但说明组合性不是 Transformer/LSTM 的默认偏置。
URL/DOI：
PDF：https://cims.nyu.edu/~brenden/papers/LakeBaroni2018ICML.pdf
证据标签：\[文献较稳\]

8. Kim & Linzen 2020 — COGS：Transformer 的组合泛化挑战

中文摘要：提出 COGS 语义解析基准，测试模型对英语片段的组合泛化。发现 Transformer 和 LSTM 在分布内准确率达 96–99%，但泛化集仅 16–35%。
原始关键句/数字：
> “In experiments with Transformers and LSTMs, we found that in-distribution accuracy on the COGS test set was near-perfect (96–99%), but generalization accuracy was substantially lower (16–35%) and showed high sensitivity to random seed (±6–8%).”
>
> Transformer in-distribution: 96%; generalization: 35% (±6). 某些结构泛化拆分接近 0%。
前提/结论/边界：
前提：基于英语片段的语义解析；训练与测试有系统性结构/词汇缺口。
结论：当代标准 NLP 模型组合泛化能力有限，可能需要更强的结构偏置。
边界：后续工作显示训练细节（early stopping、embedding 缩放、训练轮数）可显著改变数字；COGS 仍是诊断工具而非真实语言定论。
URL/DOI：
arXiv：https://arxiv.org/abs/2010.05465
ACL Anthology：https://aclanthology.org/2020.emnlp-main.731/
证据标签：\[文献较稳\]

9. Lin, Tegmark & Rolnick 2017 — 物理结构为何让深度学习便宜

中文摘要：论证深度学习的成功不仅依赖数学万能逼近，更依赖物理世界中常见的结构（对称性、局域性、组合性、多项式 log-概率）。这些结构使神经网络可用指数级更少的参数逼近自然函数。
原始关键句/定理：
> “We show how the success of deep learning could depend not only on mathematics but also on physics: although well-known mathematical theorems guarantee that neural networks can approximate arbitrary functions well, the class of functions of practical interest can frequently be approximated through ‘cheap learning’ with exponentially fewer parameters than generic ones.”
>
> “We prove various ‘no-flattening theorems’ showing when efficient linear deep networks cannot be accurately approximated by shallow ones without efficiency loss, for example, we show that n variables cannot be multiplied using fewer than 2^n neurons in a single hidden layer.”
前提/结论/边界：
前提：目标函数来自物理/自然过程，具有层次化、局域、对称、组合等结构。
结论：深度网络对这些函数比浅层网络指数级更高效；物理结构是「便宜学习」的来源。
边界：是理论论证与模型分析，未给出真实数据上的定量泛化界；「物理结构」类别较宽泛。
URL/DOI：
arXiv：https://arxiv.org/abs/1608.08225
J. Stat. Phys.：https://doi.org/10.1007/s10955-017-1836-5
证据标签：\[理论整合\]

10. Kaplan et al. 2020 — 神经语言模型的 scaling laws

中文摘要：首次系统报告大型语言模型的测试损失随模型规模 N、数据量 D、计算量 C 呈幂律下降，跨 7+ 数量级。
原始关键句/数字：
> \[L(N)=\left(\frac{N_c}{N}\right)^{\alpha_N},\quad \alpha_N\sim0.076,\; N_c\sim8.8\times10^{13}\]
> \[L(D)=\left(\frac{D_c}{D}\right)^{\alpha_D},\quad \alpha_D\sim0.095,\; D_c\sim5.4\times10^{13}\]
> \[L(C)=\left(\frac{C_c}{C}\right)^{\alpha_C},\quad \alpha_C\sim0.050,\; C_c\sim3.1\times10^{8}\]
前提/结论/边界：
前提：decoder-only Transformer；固定架构；在足够大范围拟合经验曲线。
结论：loss 随资源幂律下降；在当时的数据范围内未发现饱和。
边界：幂律是拟合形式，未被严格统计检验；指数是经验拟合值，非普适常数；在数据瓶颈、任务组合、下游指标上会出现偏离。
URL/DOI：
arXiv：https://arxiv.org/abs/2001.08361
证据标签：\[文献较稳\]

11. Hoffmann et al. 2022 — Chinchilla：计算最优配比

中文摘要：修正 Kaplan et al. 2020 的结论，指出在固定计算预算下，模型规模 N 与训练 token 数 D 应大致等比例增长（约 20 tokens/parameter），而非之前偏重大模型的策略。
原始关键句/数字：
> 在固定 FLOP 预算下，最优分配满足 \(N_{\text{opt}}\propto C^{a}, D_{\text{opt}}\propto C^{b}\)，其中 \(a\approx0.49, b\approx0.5\)。
>
> “Training compute-optimal large language models … we find that for compute-optimal training, the model size and the number of training tokens should be scaled in equal proportions.”
前提/结论/边界：
前提：固定总 FLOPs ≈6ND；拟合参数化 loss 函数。
结论：70B 参数的 Chinchilla 在相同计算量下优于 280B 的 Gopher。
边界：最优指数依赖拟合方法和数据质量；后续研究对 N/D 比例仍有争议。
URL/DOI：
arXiv：https://arxiv.org/abs/2203.15556
证据标签：\[文献较稳\]

12. Bahri et al. 2024 — 用幂律谱解释 neural scaling laws

中文摘要：提出一种机制：当数据协方差矩阵具有幂律谱时，核回归/随机特征模型会呈现出幂律学习曲线。把 dataset-size 与 model-size 的 scaling 联系到数据谱的衰减。
原始关键句/数字：
> “We identify variance-limited and resolution-limited scaling behavior for both dataset and model size, for a total of four scaling regimes. … The resolution-limited regime can be explained by positing that models are effectively resolving a smooth data manifold.”
>
> 典型设定：协方差特征值 \(\lambda_k\sim(d/k)^\alpha\)，\(\alpha>1\)；最小二乘/随机特征预测的测试误差呈现幂律。
前提/结论/边界：
前提：高斯输入、线性目标、幂律协方差谱；大宽度极限或核回归。
结论：幂律数据谱可推出幂律泛化曲线；解释了 scaling laws 的部分形态。
边界：是理想化模型；真实语言数据不是高斯线性；该理论无法第一性原理预测真实 LLM 的具体指数。
URL/DOI：
PNAS：https://doi.org/10.1073/pnas.2311878121
arXiv（v1 2021）：https://arxiv.org/abs/2102.06701
证据标签：\[理论整合\]

13. Chan, Lang & Jenner 2023 — Natural Abstractions：主张、定理与批评

中文摘要：对 John Wentworth 的 Natural Abstractions 议程进行系统梳理，区分 Universality Hypothesis（不同认知系统学到相似抽象）和 Redundant Information Hypothesis（自然抽象可用冗余/守恒信息函数刻画），并指出多处理论缺口。
原始关键句/数字：
> “The Universality Hypothesis: Natural abstractions exist, i.e. many cognitive systems learn similar abstractions.”
>
> “The Redundant Information Hypothesis: Natural abstractions are well described mathematically as functions of redundant or conserved information.”
>
> “There are no selection theorems implying any form of the Universality Hypothesis (Claim 1) yet. None of the results show any discreteness of natural abstractions (Claim 1b). The theorems don’t show that redundant information abstractions are low-dimensional (Claim 2c).”
前提/结论/边界：
前提：信息论框架；系统存在可冗余编码的变量；远距离信息可压缩。
结论：Telephone theorem、gKPD theorem 等可在特定极限下成立；但 universality、discreteness、low-dimensionality 尚未有定理支持。
边界：多为 LessWrong/AI Alignment Forum 上的研究综述与形式化尝试，非同行评审；empirical 验证仍是议程自身承认的必需。
URL/DOI：
LessWrong：https://www.lesswrong.com/posts/gvzW46Z3BsaZsLc25/natural-abstractions-key-claims-theorems-and-critiques-1
技术 PDF：https://ai-plans.com/file_storage/5a3de20c-4196-477b-9edc-83862805e039_key_claims_theorems_and_critiques_SP5GUr05Gj.pdf
证据标签：\[仍不确定/弱\]

我的判断

世界结构假设不是对 NFL 的否定，而是 NFL 之后必须引入的额外前提。Wolpert 定理的边界非常清楚：它只在「无结构」时成立。真实数据若具有低维、对称、组合等结构，就打破了 NFL 的最坏情况均匀性，使特定算法优于随机猜测。
但世界结构本身不等于泛化保证。PAC/VC 告诉我们：即使假设类有限，也需要数据分布与目标匹配、训练算法能找到好的假设。深度网络的隐式偏置（优化轨迹、flat/sharp minima、SGD 噪声等）是连接「世界结构」与「实测泛化」的关键桥梁。
对称/等变是目前最干净的世界结构→泛化增益链路。Elesedy & Zaidi 的定理明确显示，在目标确实等变时，强制等变可严格降低样本复杂度。这与 Cohen & Welling 的 G-CNN 实践一致。
组合性是最大缺口。SCAN/COGS 的系统性失败说明，标准神经网络并不自动获得人类式的组合泛化。LLM 在足够大规模上表现更好，但「是学到了组合规则还是记住了大量子图模式」仍无定论。
scaling laws 的物理地位被夸大。它是经验上极为稳健的唯象律，但「幂律」身份未严格检验，指数无法第一性原理预测，且受数据质量、任务定义、度量方式影响。把它外推为「无限 scaling 通向 AGI」是过度推断。
natural abstractions 目前更像研究纲领而非已立理论。Universality 缺乏选择定理；Redundant Information 缺乏对离散性、低维性、跨系统收敛性的证明。它与物理中的有效理论、信息瓶颈、因果抽象有概念联系，但尚不能作为世界结构的硬证据。

不确定点 / 诚实缺口

Wolpert 1996 原始证明未全文细读；对 NFL 的「off-training-set」与「优化版本」的精确边界仍待进一步核对。
Fefferman et al. 2016 的完整算法与样本复杂度常数未细读；引用的定理陈述来自摘要/讲座笔记转述。
Bahri et al. 2024/2021 的完整推导未细读；对幂律谱→scaling exponent 的定量关系依赖摘要和后续引用。
自然抽象的原始序列（John Wentworth）和独立学术工作（如因果抽象、信息瓶颈）之间的精确对应未完全梳理。
组合性在真实自然语言中的表现：SCAN/COGS 是人造任务；LLM 在真实语言中的组合机制仍缺乏可因果干预的系统性证据。
幂律谱检验：真实数据（图像、文本、蛋白质）的协方差谱是否真为幂律、还是对数正态/截断幂律，多数 scaling laws 文献未做 Clauset-Shalizi-Newman 式严格检验。
去重声明：scaling laws 与组合性的经验细节在旧线
2026-06-05-neural-scaling-laws-first-principles.md、
2026-06-12-language-as-compression-llm-human-learnability.md、
2026-06-12-world-model-stress-test-generative-models-surface-statistics.md
中已有更详细讨论；本篇只保留接口与新增判定。

后续问题

真实 LLM 训练数据（token 共现矩阵）的协方差谱是否满足幂律？其指数与 Kaplan/Chinchilla 的 scaling 指数有何定量关系？
在深度非线性网络中，等变/对称的泛化增益是否仍保持 Elesedy & Zaidi 线性模型中的严格形式？
组合性失败是架构问题、优化问题还是数据分布问题？能否用「子图覆盖」或「因果抽象」给出可检验的预测？
Natural Abstractions 的 Universality Hypothesis 是否有可证伪的实验设计？
世界结构假设与隐式偏置的交互：在哪些任务上，世界结构强到足以主导泛化；在哪些任务上，隐式偏置才是决定性因素？

关联笔记

2026-06-23-criticism-redteam-nfl-implicit-bias-world-structure-bayesian-priors.md — 子课题 E：对 NFL、隐式偏置、世界结构循环论证、贝叶斯先验的批评与红队。
2026-06-05-neural-scaling-laws-first-principles.md — scaling laws 第一性原理。
2026-06-12-language-as-compression-llm-human-learnability.md — 组合性、样本效率鸿沟、LLM 可学习性。
2026-06-12-world-model-stress-test-generative-models-surface-statistics.md — 世界模型、表征与理解的边界。
2026-06-06-training-dynamics-statistical-physics.md — 训练动力学与隐式偏置。
2026-06-06-mechanistic-interpretability-superposition-anatomy.md — 机制可解释性与模型内部表征。