gzip 能作为语言模型吗？
传统压缩工具如 gzip 能否通过选择压缩效果最好的续写，充当一种粗糙的语言模型？评论者探讨了压缩与预测之间的深层联系，引用了将 gzip 和其他编解码器用于文本生成、分类，甚至图像或数字识别的实验，同时指出对可能续写进行搜索在计算上不可行，朴素目标很快会退化为重复输出。线程将这些方法与现代神经语言模型作对比，提到 Hutter Prize 和 ts_zip 等工作，认为尽管压缩质量可作为“智能”某些方面的有用代理，LLM 以高得多的计算成本捕捉了丰富得多的结构。
gzip 作为语言模型
- 几位评论者指出了深层的理论联系：下一 token 预测与压缩密切相关（交叉熵、MDL）。
- 使用 gzip 对候选续写进行打分的实验说明了这种联系，但大多数人认为这只是一个玩具模型，而不是神经语言模型的竞争者。
gzip LM 方法的局限
- 一个核心批评是：可能续写的搜索空间大到天文数字，因此对 gzip 分数进行束搜索只会找到一个下界，而不是真正的最优解。
- 一位评论者展示了，简单地从上下文中复制一个匹配片段（“rfind” 策略）就能得到好得多的压缩分数，但作为生成模型毫无用处。
- 还有人指出，为了避免平凡解（例如重复字符、很大的反向引用），作者不得不限制上下文窗口并不断调整方法，直到输出“看起来有趣”为止，这削弱了该前提。
与其他压缩算法的比较
- 将 gzip 替换为 bzip2、zstd、lzma 和 lz4 的实验，常常会产生退化输出（交替字符、主要是空白，或只有换行符），进一步说明编解码器的细节如何塑造“生成”的文本。
- 另一个分支讨论了通用压缩中的 zstd、gzip 和 LZMA2；zstd 因速度/压缩比受到称赞，LZMA 则因归档压缩比受到称赞。
压缩、智能与 LLM
- 多次提到 Hutter Prize，以及一个已知的使用 LLM 进行文本压缩的项目；它在忽略速度和模型大小限制的情况下，能够胜过强大的传统压缩器。
- 有人认为，压缩能力是“智能”某一维度的一个合理代理，但无法涵盖创造力和其他方面。
- 也有人强调，LLM 更像有损编解码器（JPEG/MP3），而不是像 gzip；幻觉被比作有损伪影。
压缩的分类与其他用途
- 评论者描述了使用 gzip/zstd/LZO 一类方法进行主题分类、垃圾邮件检测和语言检测，即通过“哪个参考语料库压缩效果最好”来判断，这与归一化压缩距离有关。
元讨论与哲学观点
- 争论这篇文章本身是否由 AI 辅助撰写，以及这是否削弱了它的价值。
- 还有几位指出了关于压缩与语言建模关系的教育资源（视频、教材、先前论文）。