压缩即预测

已确立的观点：压缩、预测、信息论

• 许多人指出，这属于标准的信息论：好的压缩需要对下一个符号进行良好的概率预测。
• 统计压缩器对分布建模，并用更少的比特编码更可能发生的事件；这与语言模型中的下一个 token 预测直接类比。
• 有人强调，这种联系几十年来一直为人所知，先前已有关于归纳推理、Kolmogorov 复杂度以及基于压缩的相似度度量的工作。
• 也有人强调，“压缩即预测”过于简化：压缩使用预测，但在所有场景中二者并不完全相同。

LLMs、世界模型与“新想法”

• 一些评论用压缩视角来反驳“LLMs 只是鹦鹉学舌”的说法：训练可以被看作是在为数据生成过程寻找一个紧凑模型，而不仅仅是记忆曲线。
• 类比：为行星运动拟合一个紧凑函数可以让你预测尚未观测到的轨道；类似地，语言模型近似生成了人类文本的过程，并且可以泛化到训练集之外。
• 有人认为，人类中的“新想法”同样是对先前数据的重新组合/推导；从这个意义上说，高级模型也可以做到同样的事。
• 也有人坚持，仅靠预测并不能在没有实验的情况下产生关于物理世界的新知识。

局限、泛化与分布偏移

• 批评者指出一个关键注意事项：预测≈压缩只有在训练分布与测试分布一致时才成立得比较干净。
• 在固定数据集上为实现最大压缩而过拟合，可能会损害对未来数据或偏移后数据的表现；这被类比为经典的泛化/过拟合权衡。
• 也有人回应说，任何更好地建模真实来源的压缩器，最终也会更好地压缩未来数据，但同意这确实依赖于分布。

压缩器作为生成器（反之亦然）

• 多条评论解释说，任何概率压缩器都可以转化为自回归生成器：尝试每一个可能的下一个 token，查看哪个与上下文共同压缩得最好，然后据此采样。
• 对神经压缩器和基于 LLM 的压缩器的实验在分布内文本和留出文本上都表现强劲，常常在每字节比特数上优于传统工具。
• 但是，传统压缩器在实践中仍然是非常差的文本生成器，这表明“是一个压缩器”对于高质量预测来说是必要条件，但并不充分。

理解、抽象，以及有损 vs 无损

• 这里有一段延伸的旁讨论：是否“理解就是有损压缩”：
  • 一派观点：抽象/泛化本质上就是选择性的信息丢失，也就是决定哪些细节不重要。
  • 另一派观点：你可以在零语义理解的情况下无损压缩语法；高质量的有损压缩可能与真正的理解更相关。
• 教学、理解与应用被框定为人类中压缩/解压的不同阶段。

智能、意识与适用范围

• 有些人认为，压缩、智能乃至审美之间存在紧密联系（美可以看作高效描述，物理学则是终极压缩）。
• 也有人提醒不要过度外推：LLM 擅长压缩并不意味着它就有意识；按这种逻辑，普通文件压缩器也会成为候选者。
• 不过，许多人仍预期，越来越强的压缩/预测系统将需要越来越丰富的世界模型。

对文章与教学方式的批评

• 一些评论者喜欢这些图示，并认为这篇文章对非专家来说是易于理解的阐述。
• 也有人批评其呈现方式像是在把这些观点当作新近“发现”的内容，缺少足够的历史背景或对更早工作的引用。
• 关于大众博客文章应该包含多少背景和归因、以及在保持轻量和吸引人的同时如何解释这些概念，也存在争论。