1-bit LLM 时代：用于成本效益计算的三值参数
一篇新的研究论文声称，大语言模型可以使用三值权重（−1、0、1）进行训练——每个参数约 1.58 比特——同时在困惑度、内存占用、延迟和能耗方面与传统 16 位模型相当，甚至更好。评论者认为，这可能会给云端和边缘 AI 带来重大变化，使更大的模型或更便宜的模型成为可能，并推动针对超低精度整数运算优化的新硬件设计。然而，他们也指出，这种方法似乎需要从头训练模型，现有基准只覆盖相对较小的规模，而在其影响能够被充分评估之前，独立复现至关重要。
术语与表示法
- 许多人反对把 {-1,0,1} 模型称为“1-bit”；他们认为这应是三值的 / “1-trit”，更接近 1.58 比特（log₂ 3）。
- 另一些人则为“1-bit”辩护，认为这只是营销上的简写，意思是“每个权重少于 2 比特”。
- 文中讨论了多种编码方案：每个权重使用 2 个物理比特但有一种状态未使用，或者将 5 个 trit 打包到 1 个字节中（3⁵=243），并在密度与解码成本之间权衡。
- 一些人把这与平衡三进制、进位经济性论证以及历史上的三进制计算机联系起来。
论文的主张
- 权重被限制在 {-1,0,1}，激活保持为低精度整数。
- 从约 3B 参数起，报告的困惑度和下游任务表现与作者数据集上同等规模的 FP16 基线相当，甚至略优。
- 报告的效率：三值 13B ≈ 或优于 3B FP16，30B ≈ 7B FP16，70B ≈ 13B FP16，在延迟 / 内存 / 能耗方面均如此。
- 推理使用加法和符号运算，而不是完整乘法，这表明硬件实现成本可以大幅降低。
训练 vs. 对现有模型量化
- 这不是事后量化。模型是从头开始用三值层训练的。
- 训练时保留权重的高精度“潜变量”副本；前向传播使用三值权重，反向传播采用直通估计器。
- 线程中引用的 Hugging Face 讨论表明，简单地把现有 FP 模型转换过去并不能保持质量；作为替代方案，提出了从现有模型做蒸馏。
硬件与生态影响
- 评论者预计定制加速器、FPGA，以及可能的光学 / 模拟或三进制硬件会受益明显，因为乘法器可以被极小的加法 / 逻辑电路替代。
- 有些人认为这是挑战 GPU 主导地位的机会；另一些人则认为现有厂商只会加入低比特整数支持并 / 或收购创业公司。
- 如果这些主张成立，消费级 GPU 甚至边缘设备都可能运行更大、更快的模型。
怀疑、局限与前人工作
- 几位评论者指出，对更大模型（7B、13B、70B）的质量指标缺失或不完整，而且评估相对局限于较少 token 或特定数据集；他们呼吁独立复现。
- 文中提到二值 / 三值网络、低比特 CNN 和 AdderNets 的既有工作；一些人认为这更像是工程规模上的显著提升，而非概念上的新颖性。
- 总体情绪在对潜在“改变游戏规则”的效率提升感到兴奋，与在更多模型和代码发布前对结果可能被过度解读保持谨慎之间摇摆。