目录
日期：2026-06-23 任务：总课题「归纳问题与『无免费午餐』——为什么机器学习能泛化」之子课题 E 前期文献核查 状态：初步文献笔记（非最终报告） 标签：机器学习理论 / 归纳问题 / 贝叶斯哲学 / 隐式偏置 / 无免费午餐定理
1. 说明与去重
本笔记只覆盖子课题 E 的批评与红队维度：
- NFL 定理的常见误读与真实前提边界；
- 深度学习隐式偏置/隐式正则化的经验质疑；
- 「世界有规律」作为 NFL/泛化前提的循环论证风险；
- 贝叶斯先验（含 Solomonoff）的哲学批判。
旧线已覆盖、本处仅接口：
- 2026-05-05
overfitting-mind-learning-meditation-ai.md：已讨论 NFL、双下降、benign overfitting、隐式偏置； - 2026-06-05
neural-scaling-laws-first-principles.md：未涉及 NFL/PAC/VC/Solomonoff； - 2026-06-12
language-as-compression-llm-human-learnability.md：已覆盖 Solomonoff 归纳、压缩=智能、Chaitin/Hutter； - 2026-06-22
probability-bayesianism-foundation-stress-test.md：已覆盖 NFL、Solomonoff、先验问题、贝叶斯批判。
因此本笔记避免重复上述内容，只补充批评性/红队视角与精确出处。
2. NFL 常见误读与真实前提
2.1 Wolpert 原始结果：OTS 误差上的「无先验区分」
来源：Wolpert, D. H. (1996). “The lack of a priori distinctions between learning algorithms.” Neural Computation, 8(7), 1341–1390. DOI/URL：https://doi.org/10.1162/neco.1996.8.7.1341
中文摘要：Wolpert 在 Off-Training-Set (OTS) 误差上证明：对所有可能的 target function 取均匀平均时，任意两个学习算法的期望 OTS 误差相等。OTS 误差指「训练集未包含的样本上的误差」，因此定理刻意排除训练集已见过的点——这正是为了形式化「纯粹由训练数据到未见数据的推广」。
原始关键句/数字：
“The no free lunch (NFL) theorems … state that … uniformly over all f, E_f{R̂_X,f^(n)(L_1) − R̂_X,f^(n)(L_2)} = 0.”（转引自后续教科书对 Wolpert 1996 的表述）
数学定理边界：
- 前提：(1) 有限输入空间 X；(2) 对所有可能的目标函数 f: X → Y 取均匀平均；(3) 评价指标为 OTS（off-training-set）期望风险；(4) 损失函数同质（homogeneous）。
- 结论：任意两个学习算法 L1、L2 的期望 OTS 性能差为零。
- 边界：若改为 i.i.d. 抽样下的标准泛化误差、或问题分布非均匀、或目标函数空间受限，定理结论不再成立。
证据标签：文献较稳
2.2 Wolpert & Macready 优化版 NFL
来源：Wolpert, D. H., & Macready, W. G. (1997). “No free lunch theorems for optimization.” IEEE Transactions on Evolutionary Computation, 1(1), 67–82. DOI/URL：https://doi.org/10.1109/4235.585893
中文摘要：将 NFL 从监督学习推广到优化问题：若对所有具有相同 histogram 的目标函数赋予均匀分布，则任何优化算法在期望意义下表现相同。
原始关键句：
“No Free Lunch Theorems for Optimization. IEEE Trans. on Evolutionary Computation 1, 1 (1997), 67–82.”
数学定理边界：
- 前提：目标函数空间上的分布满足「block uniformity」（均匀分布是其特例），即函数可任意置换而不改变概率。
- 结论：算法在遍历所有问题时的平均性能相同。
- 边界：现实问题极少来自这种「函数可随机置换」的分布；物理规律、生成过程、生命活动等产生的问题往往低复杂度、非均匀。
证据标签：文献较稳
2.3 常见误读一：把 NFL 当成「AI 研究无用」
来源：Wolpert, D. H. (2013). “What the no free lunch theorems really mean: how to improve search algorithms.” Ubiquity, 2013(December), 1–15. DOI/URL：https://doi.org/10.1145/2555235.2555237
中文摘要：Wolpert 本人澄清，NFL 定理绝不主张「所有算法一样好」或「研究 AI 无用」。它只是说明：在施加具体问题的概率结构之前，算法的平均性能无差别。真正重要的是「 imposed probability distributions of a particular context」。
原始关键句：
“So in particular, while the NFL theorems have strong implications—if one believes in a uniform distribution over optimization problems—in no sense should they be interpreted as advocating such a distribution.”
“No free lunch theorems … have shown that random ad hoc ‘improvements’ to evolutionary computation operators could not provide universal improvements compared to existing operators.”
红队结论：把 NFL 直接推广到「现实机器学习无免费午餐」是过度简化；必须检查现实数据分布是否满足 NFL 的均匀/可置换前提。证据标签：文献较稳
2.4 常见误读二：忽略「均匀分布所有问题」前提
来源：Goldblum, M., Souri, H., Ni, R., Shu, M., Prabhu, V., Somepalli, G., … Goldstein, T. (2023). “No Free Lunch in Neural Architecture Search?” arXiv:2304.05366 [cs.LG]. URL：https://arxiv.org/abs/2304.05366
中文摘要：作者指出，虽然 NFL 常被引用来论证「每个问题都需要专门归纳偏置」，但实际上几乎所有均匀采样得到的数据集都具有高复杂度，而真实世界问题 disproportionately 生成低复杂度数据；神经网络架构本身也偏好低复杂度，甚至跨域（视觉预训练模型压缩语言数据）。
原始关键句：
“No free lunch theorems for supervised learning state that no learner can solve all problems or that all learners achieve exactly the same accuracy on average over a uniform distribution on learning problems. Accordingly, these theorems are often referenced in support of the notion that individual problems require specially tailored inductive biases. While virtually all uniformly sampled datasets have high complexity, real-world problems disproportionately generate low-complexity data, and we argue that neural network models share this same preference, formalized using Kolmogorov complexity.”
红队结论：NFL 的「问题均匀分布」前提与现实数据分布之间有一道裂缝；用 NFL 来论证「每个任务必须定制偏置」需要额外论证现实分布不满足通用低复杂度先验。证据标签：理论整合/弱（依赖 Kolmogorov 复杂度操作化）
3. 隐式偏置与隐式正则化的经验质疑
3.1 随机标签实验：传统泛化解释失效
来源：Zhang, C., Bengio, S., Hardt, M., Recht, B., & Vinyals, O. (2017). “Understanding deep learning requires rethinking generalization.” International Conference on Learning Representations (ICLR). URL：https://arxiv.org/abs/1611.03530；OpenReview：https://openreview.net/forum?id=Sy8gdB9xx
中文摘要：卷积神经网络配合 SGD 能轻易拟合随机标签的训练数据，且显式正则化对这一现象只有定性上的轻微影响；即便把真实图像换成无结构随机噪声，网络仍能拟合。理论上，两层神经网络在参数数超过样本数时已经具有完美有限样本表达能力。
原始关键句：
“Through extensive systematic experiments, we show how these traditional approaches fail to explain why large neural networks generalize well in practice. Specifically, our experiments establish that state-of-the-art convolutional networks for image classification trained with stochastic gradient methods easily fit a random labeling of the training data. This phenomenon is qualitatively unaffected by explicit regularization, and occurs even if we replace the true images by completely unstructured random noise. We corroborate these experimental findings with a theoretical construction showing that simple depth two neural networks already have perfect finite sample expressivity as soon as the number of parameters exceeds the number of data points as it usually does in practice.”
数学/实验边界：
- 实验对象：CIFAR-10 等图像分类任务上的 SOTA CNN。
- 结论边界：证明「模型族复杂度 + 显式正则化」不足以解释泛化，但并不证明隐式偏置是唯一解释；也未给出 SGD 具体偏好哪类函数的完整刻画。
证据标签：文献较稳
3.2 平坦极小值能否解释泛化？
来源：Dinh, L., Pascanu, R., Bengio, S., & Bengio, Y. (2017). “Sharp minima can generalize for deep nets.” International Conference on Machine Learning (ICML), 1019–1028. URL：https://arxiv.org/abs/1703.04933
中文摘要：文章论证，对深度 ReLU 网络而言，常见的「平坦极小值 = 好泛化」概念存在严重问题：利用网络的对称性（如神经元置换、缩放）可以把一个平坦极小值映射为任意尖锐的等价极小值；若允许重参数化，参数空间的几何形状会剧烈改变，而不影响泛化性能。
原始关键句：
“This paper argues that most notions of flatness are problematic for deep models and can not be directly applied to explain generalization. Specifically, when focusing on deep networks with rectifier units, we can exploit the particular geometry of parameter space induced by the inherent symmetries that these architectures exhibit to build equivalent models corresponding to arbitrarily sharper minima. Furthermore, if we allow to reparametrize a function, the geometry of its parameters can change drastically without affecting its generalization properties.”
红队结论：「SGD 找到平坦极小值因此泛化好」是过度简化的故事；flatness 的度量必须非常谨慎地定义，否则会被网络对称性破坏。证据标签：文献较稳
3.3 SGD 噪声并非必要：全批量训练可比拟 SGD
来源：Geiping, J., Goldblum, M., Pope, P. E., Moeller, M., & Goldstein, T. (2021/2022). “Stochastic training is not necessary for generalization.” ICLR 2022. URL：https://arxiv.org/abs/2109.14119
中文摘要：广泛认为 SGD 的隐式正则化是神经网络良好泛化的根本。但作者证明，在现代架构上，非随机的全批量训练也能在 CIFAR-10 上达到与 SGD 相当的表现；SGD 的隐式正则化可以被显式正则化完全替代。
原始关键句：
“It is widely believed that the implicit regularization of SGD is fundamental to the impressive generalization behavior we observe in neural networks. In this work, we demonstrate that non-stochastic full-batch training can achieve comparably strong performance to SGD on CIFAR-10 using modern architectures. … Our observations indicate that the perceived difficulty of full-batch training may be the result of its optimization properties and the disproportionate time and effort spent by the ML community tuning optimizers and hyperparameters for small-batch training.”
红队结论：把泛化功劳单独归于 SGD 的隐式偏置证据不足；架构、数据、显式正则化、优化调参共同作用。证据标签：文献较稳
3.4 隐式偏置的其他质疑线索
来源：Nagarajan, V., & Kolter, J. Z. (2019). “Uniform convergence may be unable to explain generalization in deep learning.” NeurIPS；Razin, A., & Cohen, N. (2020). “Implicit regularization in deep learning may not be explainable by norms.” NeurIPS；Chiang, P.-Y. et al. (2023). “Loss landscapes are all you need: Neural network generalization can be explained without the implicit bias of gradient descent.” ICLR. URL：
- Nagarajan & Kolter 2019：https://arxiv.org/abs/1902.04742
- Razin & Cohen 2020：https://arxiv.org/abs/2003.05133
- Chiang et al. 2023：https://arxiv.org/abs/2210.07038
中文摘要：
- Nagarajan & Kolter 指出基于一致收敛（uniform convergence）的经典泛化界可能无法解释深度学习泛化，因为要达到非空界需要对假设类做很强的分布相关约束。
- Razin & Cohen 证明在某些设置下，梯度下降的隐式正则化不能用参数范数解释。
- Chiang et al. 提出损失景观本身（而非 SGD 的隐式偏置）足以解释泛化。
诚实缺口：
- 上述三篇全文尚未逐字阅读，仅依据摘要与引文；
- 具体定理前提（网络深度、数据分布、损失函数）尚未核实；
- 因此本节作为「待进一步核实」线索列出，不用于核心结论。
证据标签：仍不确定/弱
4. 世界结构循环论证
4.1 哲学来源：休谟归纳问题
来源：Stanford Encyclopedia of Philosophy, “The Problem of Induction”（Hume’s Problem 章节）。 URL：https://plato.stanford.edu/entries/induction-problem/
章节定位：§1 “Hume’s Problem”、§2 “Reconstruction”。
中文摘要：休谟的论证可重构为两难：
- 第一角：归纳推理不能是演绎的，因为「自然齐一/未来像过去」的否定不是矛盾；
- 第二角：归纳推理不能是或然的（probable/经验推理），因为任何这样的推理已经预设了要证明的「自然齐一」原则，从而循环。
原始关键句：
“Hume argues that we cannot make a causal inference by purely a priori means … it is based on experience, and specifically experience of constant conjunction.”
“All such reasoning … proceeds upon the supposition, that the future will be conformable to the past … it will again be relying on this supposition, and taking that for granted, which is the very point in question.”
与 NFL 的对应：SEP §3.4 明确将 NFL 定理视为休谟第一角的计算机科学版本：
“The idea is also given formal expression in the so-called ‘No-Free-Lunch theorems’ (Wolpert 1992, 1996, 1997). These can be interpreted as versions of the argument in Hume’s first fork since they establish that there can be no contradiction in the algorithm not performing well, since there are a priori possible situations in which it does not.”
证据标签：文献较稳
4.2 哲学来源：古德曼新归纳之谜
来源：Stanford Encyclopedia of Philosophy, “Confirmation”（§1.2 “Two paradoxes and other difficulties”）。 URL：https://plato.stanford.edu/entries/confirmation/
章节定位：§1.2，讨论 Hempel 确认理论中的 Goodman 悖论（grue / blite / blurple）。
中文摘要：Goodman 用「grue」（在时间 T 前观察为绿、之后为蓝）与「blite」等谓词证明：纯句法/逻辑上的确认关系无法区分可投射（projectible）与不可投射谓词。Hempel 理论会把「观察到绿翡翠」同样确认为「所有翡翠是绿的」和「所有翡翠是 grue」，但直观上我们只接受前者。
原始关键句：
“Does e confirm hypotheses h and h* alike? … For one can check that the e-developments of h and h* are both entailed by e. Thus, e … does Hempel-confirm h* (all ravens are blite) just as it confirms h (all ravens are black).”
“A seemingly obvious idea … is that there must be something inherently wrong with predicates such as blite or blurple … and thus a principled way to rule them out as ‘unnatural’.”
Goodman 的解决：projectibility 取决于谓词在语言中的固化（entrenchment），即历史使用频率。这本身被批评为循环或实用主义。
证据标签：文献较稳
4.3 「世界有规律」是否循环？
来源：Andrews, M. (2024). “The reanimation of pseudoscience in machine learning and its ethical repercussions.” Patterns, 5(3).（PMC 版本） URL：https://pmc.ncbi.nlm.nih.gov/articles/PMC11573791/
中文摘要：作者从科学哲学角度指出，ML 泛化必须以「世界有结构/有规律」为前提；但这条前提本身既是经验发现也是理论预设。数据本身永远理论负载（theory-laden），测量过程、标注过程都会注入规律性。因此「模型泛化好是因为世界有规律」容易滑入循环：我们用带有规律假设的数据去验证规律假设。
原始关键句：
“The world is structured. It contains regularity. All natural data, therefore, contain some measure of regularity. We have to work very hard to produce data containing no learnable regularity.”
“Part of the necessary and difficult work of science is distinguishing between imposed regularity and worldly regularity.”
红队结论：
- NFL 说「没有先验偏置就无法泛化」；
- 泛化成功被解释为「世界有规律」；
- 但「世界有规律」这一前提又通过数据选择、问题设定、模型架构被预先植入。
- 这构成一个弱循环：不是逻辑上的严格循环论证，而是解释上的退行（regress）。
证据标签：理论整合
4.4 形式对应：从 NFL 到「必须有偏置」
来源：SEP “The Problem of Induction” §3.4（见 4.1）。
中文摘要：学习理论把「归纳偏置必要性」形式化：Mitchell (1997) 的 inductive bias 概念、以及 Wolpert NFL 定理。SEP 明确指出，NFL 排除了「模型无关的 universal 学习保证」，但保留了「模型相对（model-relative）」的学习保证。
原始关键句：
“In this domain, there is a well-known finding that learning algorithms are only effective if they have ‘inductive bias’—that is, if they make some a priori assumptions about the domain they are employed upon (Mitchell 1997).”
“The No-Free-Lunch theorems … preclude any universal model-independent justification for learning algorithms, it does not rule out partial justifications in the form of such general a priori ‘model-relative’ learning guarantees.”
红队结论：NFL 的批评价值在于限制过度泛化：它禁止从「算法在若干任务上成功」跳到「算法普遍有效」；但它本身不禁止「在特定问题结构下」的有效学习。证据标签：文献较稳
5. 贝叶斯先验批判
5.1 先验问题：主观 vs 客观贝叶斯主义
来源：Stanford Encyclopedia of Philosophy, “Bayesian Epistemology” §1.5 “Bayesians Divided: The Problem of the Priors”。 URL：https://plato.stanford.edu/entries/epistemology-bayesian/
章节定位：§1.5。
中文摘要：概率主义 + 条件化本身太弱，无法决定先验；不同先验会导致枚举归纳、Ockham 剃刀等行为的相反结果。主观贝叶斯主义允许任何相干先验；客观贝叶斯主义诉诸无差别原则等进一步约束。
原始关键句：
“Probabilism and the Principle of Conditionalization, alone, are too weak to entitle us to say whether one’s credence ought to change inductively or counter-inductively in the above example.”
“So, besides the coherence norms (such as Probabilism), are there any other norms that govern one’s prior? This is known as the problem of the priors.”
证据标签：文献较稳
5.2 Gelman & Shalizi：贝叶斯作为模型检验而非信念更新
来源：Gelman, A., & Shalizi, C. R. (2013). “Philosophy and the practice of Bayesian statistics.” British Journal of Mathematical and Statistical Psychology, 66(1), 8–38. DOI/URL：https://doi.org/10.1111/j.2044-8317.2011.02037.x；预印本 PDF：https://sites.stat.columbia.edu/gelman/research/published/philosophy_chapter.pdf
中文摘要：Gelman 与 Shalizi 反对「贝叶斯 = 主观归纳信念更新」的标准哲学。他们认为贝叶斯数据分析应置于误差统计/假说演绎框架：后验推断是「常规科学」，模型检验（后验预测检验）允许证伪，模型修正带来进步。先验不是个人信念，而是模型假设的一部分；模型（包括先验）是可检验的。
原始关键句：
“We view Bayesian data analysis—the iterative process of model building, posterior inference, and model checking—as fitting well within an error-statistics or hypothetico-deductive philosophy of science, with posterior inference playing the role of ‘normal science,’ model checking allowing falsification, and model building providing the potential for progress in normal science.”
“First, we consider posterior probabilities to be a form of scientific measurement rather than as subjective statements of belief. Second, we perform Bayesian model checking by comparing predictions to observed data … rather than by attempting to compute posterior probabilities of competing models.”
“We do not think of a Bayesian prior distribution as a personal belief; rather, it is part of a hypothesized model, which we posit as potentially useful and abandon to the extent that it is not.”
“Subjective Bayesian theory has no place for falsification of a prior distribution … But if we think of the model just as a set of assumptions, they can be falsified if their predictions—our deductive inferences—do not fit the data.”
红队结论：
- 对贝叶斯主义的常见辩护（「先验只是初始信念，会被数据冲刷」）在实践哲学上受到挑战；
- 真正让科学进步的是模型检验与扩展，而非后验概率比较；
- 这对 ML 的启示：不要问「先验是否正确」，而要问「模型+先验的预测是否经得起新数据检验」。
证据标签：文献较稳
5.3 Gelman & Hennig：超越主观与客观
来源：Gelman, A., & Hennig, C. (2017). “Beyond subjective and objective in statistics.” Journal of the Royal Statistical Society: Series A (Statistics in Society), 180(4), 967–1033. DOI/URL：https://doi.org/10.1111/rssa.12276
中文摘要：作者提出用「主体间性（intersubjectivity）」和多种美德（如稳定性、可复现性、对偏差的自觉、与背景知识的连接）来取代简单的主观/客观二分。先验的选择应透明、可争辩，并接受模型检验。
红队结论：
- 「先验是主观的所以无所谓」与「存在客观正确先验」都是错误二分；
- 好的统计实践要求对先验进行公开审查与预测检验，而非用贝叶斯公式包装未经检验的假设。
证据标签：文献较稳（全文未细读，依赖摘要与广泛引用）
5.4 Solomonoff 先验的哲学困境
来源：Neth, S. (2023). “A dilemma for Solomonoff prediction.” Philosophy of Science, 90(2), 288–306. DOI/URL：https://doi.org/10.1017/psa.2022.72；开放获取：https://www.cambridge.org/core/journals/philosophy-of-science/article/dilemma-for-solomonoff-prediction/237324EF10CB4EA83841185DD1EFE50C
中文摘要：Solomonoff 预测面临两个经典问题：(1) 先验相对于通用图灵机（UTM）的选择；(2) 不可计算。常见回应：(a) 不同 UTM 的 Solomonoff 先验在数据足够多时几乎必然收敛；(b) 存在可计算近似。Neth 论证这两个回应相互冲突：可计算近似并不保证相互收敛（Putnam 对角论证）。因此 Solomonoff 支持者面临两难：要么放弃普适收敛（回到语言依赖与主观性），要么接受不可计算（无法指导人类或 AI 推理）。
原始关键句：
“First, the Solomonoff prior is relative to a choice of universal Turing machine. Second, the Solomonoff prior is not computable. … I argue that there is a deep tension between these two responses. This is because different computable approximations to Solomonoff prediction do not always converge.”
“Either they have to give up universal convergence, which leads to problems of language dependence and subjectivity, or they have to accept that Solomonoff prediction is essentially uncomputable and so cannot be of any help in guiding the inferences of human and artificial agents.”
关键定理（Neth 基于 Putnam）：
- 定理 3（Putnam 1963）：任何可计算概率测度 p 都必然对某个可计算序列 b 赋予概率 0。
- 前提：p 是可计算的概率测度。
- 结论：存在可计算序列 b，使得 p(b) = 0。
- 边界：该序列 b 是通过对 p 的预测进行对角构造得到的；不同 p 得到不同 b，因此不同可计算近似之间可能不绝对连续，从而不保证贝叶斯收敛。
与 Goodman 的联系：Neth 明确把 UTM 选择问题与 Goodman 的 grue 问题类比：
“Readers familiar with Goodman (1955) will recognize that a version of this argument was leveled by Goodman against the idea that ‘green’ is more simple than ‘grue’—it all depends on your choice of primitives.”
红队结论：Solomonoff 归纳不能充当「无争议的普适先验」；一旦进入可计算近似，语言依赖与近似策略依赖会重新出现。证据标签：文献较稳
5.5 Solomonoff 收敛定理的前提（用于对比）
来源：Neth (2023) §3；Li & Vitányi (2019) 第 4 章；Sterkenburg (2016, 2018)。
中文摘要：不同 UTM 的（非归一化/归一化）Solomonoff 先验彼此绝对连续，因此根据 Blackwell-Dubin 定理，它们几乎必然在总变差距离下收敛。
数学定理边界：
- 前提：(1) 使用 Solomonoff 先验 λ_U（或归一化 Λ_U）；(2) 两个先验相对不同 UTM；(3) 数据序列来自一个对两个先验都开放（open-minded）的测度。
- 结论：lim_{n→∞} sup_A |λ_U(A|E_n) − λ_U'(A|E_n)| = 0，几乎必然成立。
- 边界：
- 「几乎必然」意味着存在测度为零的例外序列；
- 该收敛对有限数据的预测无直接帮助；
- 一旦使用可计算近似，绝对连续性被破坏，定理不再适用。
证据标签：文献较稳
6. 与母裁决的关系
本笔记的文献核查对母课题的初步裁决产生如下影响：
| 母裁决要点 | 本笔记支持/限定/削弱 | 关键证据 |
|---|---|---|
| 归纳问题哲学上仍硬 | 支持 | SEP Problem of Induction §1–2；休谟两难重构 |
| NFL/PAC/VC 形式定理真而解释窄 | 支持 | Wolpert 1996/1997 前提边界；SEP §3.4 model-relative 保证 |
| 深度学习泛化突破经典图景但机制未闭合 | 支持/限定 | Zhang 2017；Dinh 2017；Geiping 2021 |
| 「世界简单/AGI 必然」是过度外推 | 支持 | Goldblum 2023；Neth 2023；Andrews 2024 |
| 真正答案是形式约束 + 隐式偏置 + 世界结构三足鼎立 | 限定 | 三足中每一足都受到红队质疑：隐式偏置可被显式正则化替代；世界结构可能循环；形式约束（Solomonoff）不可计算 |
核心红队结论：
- NFL 不是「机器学习无法泛化」的许可证，而是「没有先验/偏置就无法保证泛化」的精确形式化；误读 NFL 会夸大其悲观含义。
- 深度学习的隐式偏置故事尚未闭合：SGD 噪声、flat minima、参数范数等候选解释都遭遇反例。
- 「世界有规律」作为泛化解释存在解释循环：规律既是发现对象也是建模前提。
- 贝叶斯/Solomonoff 先验无法提供无争议的普适基础：可计算近似破坏收敛保证，不可计算则无法成为 AI/科学的操作基础。
7. 诚实缺口与待核点
- 一手 PDF 未全部细读：
- Wolpert (1996) 原始定理的完整证明与前提假设仅通过教科书/综述间接确认；
- Nagarajan & Kolter (2019)、Razin & Cohen (2020)、Chiang et al. (2023) 全文未读，仅依据摘要与引用；
- Gelman & Hennig (2017) 全文未细读。
- 数学定理前提需要逐字核实：
- Wolpert 1996 的「homogeneous loss function」在二进制/离散情况下的具体定义；
- Neth 2023 中 Blackwell-Dubin 收敛定理与 Putnam 对角定理的技术细节；
- Solomonoff 先验的 semi-measure / normalized measure 差异对收敛结论的影响。
- 某些概念操作化较弱：
- Goldblum 2023 用 Kolmogorov 复杂度度量「真实世界问题的低复杂度偏好」；该操作化在经验上是否可检验、是否与具体任务性能直接挂钩，尚需审慎。
- 哲学来源章节定位：
- Goodman 新归纳之谜在 SEP 有专门条目（可能 URL 为
/entries/grue/），但本次未能成功获取；目前使用 SEP Confirmation §1.2 中的讨论作为替代，需后续核对专门条目。
- 待进一步检索：
- 关于「世界结构循环论证」的更强学术来源（Dembski/Ewert 的智能设计论、以及 ML 中 distribution shift/外推性的讨论）；
- PAC/VC 原始定理边界（Vapnik-Chervonenkis 1968/1971、Valiant 1984）的原始文献或权威教科书引用；
- Mayo (2018) 对 Gelman-Shalizi 的批评，以呈现反方观点。
8. 关键来源索引
| 作者 | 年份 | 标题 | URL/DOI |
|---|---|---|---|
| Wolpert | 1996 | The lack of a priori distinctions between learning algorithms | https://doi.org/10.1162/neco.1996.8.7.1341 |
| Wolpert & Macready | 1997 | No free lunch theorems for optimization | https://doi.org/10.1109/4235.585893 |
| Wolpert | 2013 | What the NFL theorems really mean | https://doi.org/10.1145/2555235.2555237 |
| Goldblum et al. | 2023 | No Free Lunch in Neural Architecture Search? | https://arxiv.org/abs/2304.05366 |
| Zhang et al. | 2017 | Understanding deep learning requires rethinking generalization | https://arxiv.org/abs/1611.03530 |
| Dinh et al. | 2017 | Sharp minima can generalize for deep nets | https://arxiv.org/abs/1703.04933 |
| Geiping et al. | 2022 | Stochastic training is not necessary for generalization | https://arxiv.org/abs/2109.14119 |
| SEP | — | The Problem of Induction | https://plato.stanford.edu/entries/induction-problem/ |
| SEP | — | Confirmation | https://plato.stanford.edu/entries/confirmation/ |
| SEP | — | Bayesian Epistemology | https://plato.stanford.edu/entries/epistemology-bayesian/ |
| Andrews | 2024 | The reanimation of pseudoscience in ML | https://pmc.ncbi.nlm.nih.gov/articles/PMC11573791/ |
| Gelman & Shalizi | 2013 | Philosophy and the practice of Bayesian statistics | https://doi.org/10.1111/j.2044-8317.2011.02037.x |
| Gelman & Hennig | 2017 | Beyond subjective and objective in statistics | https://doi.org/10.1111/rssa.12276 |
| Neth | 2023 | A dilemma for Solomonoff prediction | https://doi.org/10.1017/psa.2022.72 |
本笔记为前期文献核查产物，用于支持后续总报告撰写；所有结论均标注证据强度，未标注处视为待进一步核实。