AI · 泛化
机器学习的涌现、泛化、世界模型与对齐叙事的机制裁决——从能力涌现与机制可解释性,到泛化理论、世界模型与组合性追问,再到归纳问题与「无免费午餐」的元课题。
🧩涌现 · 收敛 · 可解释6 篇能力涌现、表示收敛与机制可解释性作为「AI 的解剖学」。
涌现、量变质变与 AI 涌现幻象涌现、量变质变与 AI 涌现幻象计算收敛论的边界:大脑与深度网络的同构、类比与断裂计算收敛论的边界:大脑与深度网络的同构、类比与断裂神经标度律的第一性原理:一条”经验极稳、机制欠定、外推不可靠”的唯象律神经标度律的第一性原理:一条”经验极稳、机制欠定、外推不可靠”的唯象律——它是有效理论还是曲线拟合?机制可解释性作为「AI 的解剖学」:一门「地基真、读数疑、自知浅」的初生学科机制可解释性作为「AI 的解剖学」:一门「地基真、读数疑、自知浅」的初生学科——叠加 / 线性表示 / SAE / 电路各是真解剖还是投射?训练动力学的统计物理:一座「两端真、中间借」的桥训练动力学的统计物理:一座「两端真、中间借」的桥——SGD / 损失地形 / 训练相变 / RG 各是真物理还是借词?技术奇点 + 加速回报 + 智能爆炸「解释一切」大体检技术奇点 + 加速回报 + 智能爆炸「解释一切」大体检——趋势冒充命定、能力冒充可无界自放大的标量:从「指数外推通向奇点」到「递归自我改进引爆超级智能」
🌐泛化 · 世界模型 · 对齐5 篇泛化理论、世界模型、语言组合性与对齐叙事。
过拟合的心智:刷题、内观标记与 AI 泛化过拟合的心智:刷题、内观标记与 AI 泛化组合性圣杯:物理/AI 的「组合性」与衰老「可达配置空间收缩」是真同构还是漂亮类比?组合性圣杯:物理/AI 的「组合性」与衰老「可达配置空间收缩」是真同构还是漂亮类比?——主线最高风险桥的两段式建构与证否(群 V·方向三)语言作为压缩语言作为压缩——大语言模型、人类语言与”可学习性”的信息论交叉:压缩≡语言建模真而窄、插值与结构学习是伪二分、Chomsky 与用法基础双向都过度而样本效率鸿沟是真命门、压缩=理解=智能则与计算收敛论同病世界模型大体检——生成模型学到「世界」,还是「表面统计」?世界模型大体检——生成模型学到「世界」,还是「表面统计」?AI 对齐与目标错置:Goodhart 定律作为社会版过拟合AI 对齐与目标错置:Goodhart 定律作为社会版过拟合
🎲归纳问题与无免费午餐6 篇归纳问题、No Free Lunch 与学习对先验的依赖。
批评与红队:NFL 误读批评与红队:NFL 误读、隐式偏置质疑、世界结构循环论证、贝叶斯先验批判子课题 C:深度学习泛化之谜子课题 C:深度学习泛化之谜归纳问题与“无免费午餐”——为什么机器学习能泛化?归纳问题与“无免费午餐”——为什么机器学习能泛化?子课题 B2:PAC 学习与 VC 理论子课题 B2:PAC 学习与 VC 理论(Valiant 1984 / VC 1971 / Blumer et al. 1989 / Vapnik 1998 / 一致收敛边界)子课题 A:哲学归纳问题——前期文献核查笔记子课题 A:哲学归纳问题——前期文献核查笔记世界结构假设——深度学习泛化的第三条腿世界结构假设(流形 / 对称 / 组合性 / 幂律谱 / scaling laws / natural abstractions)——归纳问题与「无免费午餐」总课题子课题 D 前期文献核查