AI · 泛化
机器学习的涌现、泛化、世界模型与对齐叙事的机制裁决——从能力涌现与机制可解释性,到泛化理论、世界模型与组合性追问,再到归纳问题与「无免费午餐」的元课题。
🧩涌现 · 收敛 · 可解释7 篇能力涌现、表示收敛与机制可解释性作为「AI 的解剖学」。
涌现、量变质变与 AI 涌现幻象涌现、量变质变与 AI 涌现幻象计算收敛论的边界:大脑与深度网络的同构、类比与断裂计算收敛论的边界:大脑与深度网络的同构、类比与断裂神经标度律的第一性原理:它是有效理论还是曲线拟合?神经标度律的第一性原理:一条”经验极稳、机制欠定、外推不可靠”的唯象律——它是有效理论还是曲线拟合?机制可解释性作为「AI 的解剖学」:一门「地基真、读数疑、自知浅」的初生学科机制可解释性作为「AI 的解剖学」:一门「地基真、读数疑、自知浅」的初生学科——叠加 / 线性表示 / SAE / 电路各是真解剖还是投射?训练动力学的统计物理:它是真物理,还是借来的词?训练动力学的统计物理:一座「两端真、中间借」的桥——SGD / 损失地形 / 训练相变 / RG 各是真物理还是借词?技术奇点 + 加速回报 + 智能爆炸「解释一切」大体检技术奇点 + 加速回报 + 智能爆炸「解释一切」大体检——趋势冒充命定、能力冒充可无界自放大的标量:从「指数外推通向奇点」到「递归自我改进引爆超级智能」Scaling 撞墙了吗Scaling 撞墙了吗——从预训练标度律、数据墙到推理时计算转向的七层承重测试
🌐泛化 · 世界模型 · 对齐11 篇泛化理论、世界模型、语言组合性与对齐叙事。
过拟合的心智:刷题、内观标记与 AI 泛化过拟合的心智:刷题、内观标记与 AI 泛化组合性圣杯:物理/AI 的「组合性」与衰老「可达配置空间收缩」是真同构还是漂亮类比?组合性圣杯:物理/AI 的「组合性」与衰老「可达配置空间收缩」是真同构还是漂亮类比?——主线最高风险桥的两段式建构与证否(群 V·方向三)语言作为压缩语言作为压缩——大语言模型、人类语言与”可学习性”的信息论交叉:压缩≡语言建模真而窄、插值与结构学习是伪二分、Chomsky 与用法基础双向都过度而样本效率鸿沟是真命门、压缩=理解=智能则与计算收敛论同病世界模型大体检——生成模型学到「世界」,还是「表面统计」?世界模型大体检——生成模型学到「世界」,还是「表面统计」?AI 对齐与目标错置:Goodhart 定律作为社会版过拟合AI 对齐与目标错置:Goodhart 定律作为社会版过拟合AI Agent 真的会自主规划吗AI Agent 真的会自主规划吗——从工具调用、闭环重规划到长程自治的系统归因审计大模型真的会在上下文里学习吗大模型真的会在上下文里学习吗——从任务识别、标签重绑定到临时算法的六层承重测试LLM 真的在推理吗LLM 真的在推理吗——Chain-of-Thought 的能力、计算、轨迹与证明承重测试AlphaFold「解决了蛋白质折叠」吗AlphaFold「解决了蛋白质折叠」——从 CASP 分数、Anfinsen 热力学假说到「AI 攻克生物学」叙事的七层承重测试AGI 何时到来AGI 何时到来——从定义谱系、预言记分卡到预测市场的九层承重测试模型会死于自己的输出吗模型会死于自己的输出吗——从「递归训练」的数学、互联网的 AI 内容污染到「合成数据是毒药还是燃料」的十层承重测试
🎲归纳问题与无免费午餐6 篇归纳问题、No Free Lunch 与学习对先验的依赖。
无免费午餐被误读了吗批评与红队:NFL 误读、隐式偏置质疑、世界结构循环论证、贝叶斯先验批判子课题 C:深度学习泛化之谜子课题 C:深度学习泛化之谜归纳问题与“无免费午餐”——为什么机器学习能泛化?归纳问题与“无免费午餐”——为什么机器学习能泛化?泛化界是怎么证出来的子课题 B2:PAC 学习与 VC 理论(Valiant 1984 / VC 1971 / Blumer et al. 1989 / Vapnik 1998 / 一致收敛边界)归纳问题的哲学史——文献核查子课题 A:哲学归纳问题——前期文献核查笔记世界结构假设——深度学习泛化的第三条腿世界结构假设(流形 / 对称 / 组合性 / 幂律谱 / scaling laws / natural abstractions)——归纳问题与「无免费午餐」总课题子课题 D 前期文献核查