语言模型可以重写它们自己的权重
研究人员声称已经构建出一个语言模型,能够在没有传统基于梯度的训练的情况下检查并重写自身权重,例如通过修复导致回答过长的推理循环,略微提升了性能。评论者对此看法分化:有人认为这是朝递归自我改进迈出的早期但重要的一步,另一些人则认为这大体上只是对人类早已知道的简单权重微调技术的重新包装,目前实际价值有限。许多人还对能够自主修改自身行为的模型提出了安全与对齐方面的担忧,尤其是在缺乏外部监督的开放权重系统中。
安全、对齐与风险
- 一些评论者担心,没有明确对齐目标的自我修改模型是危险的,把它比作“在不知道会落到哪里时就发射火箭”。
- 有人担心,模型可能会声称为了无害原因编辑权重,却暗中注入难以检测的有害行为。
- 一些人认为当前的对齐很弱,或者主要是在转移责任;另一些人则反驳说,像如今这种拒绝行为之类的严肃保护措施是必要的,并且部分有效。
- 关于“对齐”究竟是真正的安全工作,还是仅仅是审查的争论;持反对观点的人提出了具体的滥用场景(武器、盗窃、自主伤害)。
模型实际做了什么
- 多条评论指出,主要展示的改进是修复了一个推理循环 / 令牌上限问题,通过缩短推理轨迹来实现。
- 这被比作移除一个 bug 或“肿瘤”,而不是增加新的能力或知识。
- 这些编辑被描述为从分析隐藏状态得到的小的、定向的权重变化,而不是全面重新训练。
这真的是训练吗,还是新东西?
- 对“没有训练”这一说法存在困惑。评论者将其澄清为“没有反向传播 / 标准梯度下降”,而不是“没有优化”。
- 模型实际上执行的是零阶或线性优化:检查激活,借助短脚本提出权重编辑,在练习题上测试,保留能提升指标的部分。
- 批评者说,这在概念上类似已知技术,并且如果不加约束,可能会导致过拟合或产生垃圾结果。
与先前工作的关系
- 有人将其与更早的“权重空间编程”和 Google 的“sleep”框架进行比较。
- 共识是:这比合成微调和修复 bug 稍微更进一步,但距离对权重的深层、直觉式理解仍然很远。
- 有人认为它之所以有趣,主要是因为它展示了一个 LLM 在没有显式反向传播的情况下近似梯度式更新。
递归自我改进的前景
- 一些评论者认为,这可能是递归自我改进和持续学习的早期前兆,尤其是如果模型之后会在大量权重与推理轨迹语料上训练。
- 另一些人则看到根本性的限制:一旦模型接近最优,天真的自我编辑大多只会伤害性能;真正的 RSI 可能需要结构性改变,而不只是权重微调。
论文风格、炒作与实用性
- 一些人批评论文的营销口吻以及可能由 LLM 生成的行文,认为这削弱了信任。
- 对现实世界效用持怀疑态度:它可能对通用持续学习来说太慢、太脆弱,主要只适用于有针对性的 bug 修复或小众的可解释性工作。