压缩能压出惊人的语言能力,但压缩不是人脑学语言的方式、也不等于理解
语言作为压缩——大语言模型、人类语言与”可学习性”的信息论交叉:压缩≡语言建模真而窄、插值与结构学习是伪二分、Chomsky 与用法基础双向都过度而样本效率鸿沟是真命门、压缩=理解=智能则与计算收敛论同病
语言作为压缩——大语言模型、人类语言与”可学习性”的信息论交叉:压缩≡语言建模真而窄、插值与结构学习是伪二分、Chomsky 与用法基础双向都过度而样本效率鸿沟是真命门、压缩=理解=智能则与计算收敛论同病
“信息论衰老:用有向信息流(转移熵/因果密度/整合信息)操作化“调度效率”与系统间通信质量”
计算收敛论的边界:大脑与深度网络的同构、类比与断裂