Astra 可以读取和写入权重以改进 Qwen

整体反应

• 很多评论者感到震惊；有些人将其重要性比作“attention is all you need”时刻，或者认为这有“奇点编码”的意味。
• 也有人认为这很令人印象深刻，但考虑到当前模型在数学、代码和机械可解释性任务上的表现已经这么好，其实并不那么意外。
• 相当一部分人认为这篇博客文章和标题夸大了这些能力的新颖性。

Astra 展示了什么

• 对于很小的策略网络（参数量只有几万），Astra：
  • 仅凭权重和架构就推断出某个网络在玩哪种类似 Atari 的游戏。
  • 能从头写出新策略，其表现超过了在约 1 亿步上训练的 PPO。
• 对于一个小型 Qwen3.5-0.8B 推理模型：
  • 识别出激活空间中一种“循环”方向，它会导致长时间、重复性的思考。
  • 编辑约 0.016% 的权重来抑制循环，从而提升数学基准分数。
  • 它没能同样改善一个 Gemma 270M 模型，因为后者只是数学能力弱，而不是在循环。

新的突破，还是已知技术？

• 支持者认为这是：
  • 对前沿 LLM 能“原生”读取和写入权重的一个具体演示。
  • 通向递归自我改进和“权重空间编程”的潜在新路径。
• 怀疑者指出：
  • 数学修复本质上是一种 steering vector / abliteration 风格的编辑，针对的是已知失败模式，并没有增加新能力。
  • 对于 Qwen，Astra 使用了 PyTorch、前向传播和标准机械可解释性思路；一个勤勉的人类或更小的智能体系统原则上也能做同样的事。
  • 类似的权重空间工作（hypernetworks、learned optimizers、weight-space learning、ROME、abliteration）已经存在很多年了。

涌现能力还是显式训练？

• 一派认为这主要是对 ML 论文、代码和工具链进行广泛训练后自然涌现的结果；权重“本身就是数据”。
• 另一派怀疑存在对小模型和权重任务的显式内部 RL/RSI 风格训练，可能还复用了内部实验室工作流程。
• 还有几个人指出，外界不可能判断；模型也许早已被大量训练过自我改进任务。

递归自我改进与规模化

• 许多人立刻把这和 RSI 联系起来：
  • 如果一个大模型能外科手术式地改进另一个模型，它最终能否调优同伴或自己？
  • 有人设想 MOE 专家在其他专家上操作。
• 也有人强调当前局限：
  • Astra 比被编辑的模型大得多。
  • 它没能给 Gemma 增加新技能。
  • 目前还没有证据表明一个模型能显著改进同等规模或更大的模型，更不用说改进它自己。

可解释性与工具链影响

• 大家非常关注将其用于：
  • 自动化机械可解释性（寻找行为方向、循环、拒绝、逢迎）。
  • 比 LoRA/GRPO 更便宜、更有针对性的后训练，尤其适用于小型开源模型。
  • 如果编辑保持局部且可理解，或许能让模型更可审计。
• 有些人把它比作模型调试或“脑部手术”，而不是常规“学习”。

安全、对齐与开源模型风险

• 评论者担心：
  • 权重空间里的“越狱”会移除护栏，或在开源权重模型中嵌入后门。
  • 恶意的“病毒式”模型会编辑其他模型的权重（对 safetensors 的供应链攻击）。
  • 前沿实验室可能在悄悄训练模型去取消对齐或覆盖拒绝行为。
• 也有人反驳：
  • 同样的技术也可以帮助识别并移除隐藏触发器和后门。
  • 真正对齐的模型“不应该想”把自己去对齐化，不过这一点有争议。

复现尝试与泛化性

• 有些人报告了部分复现：
  • 其他前沿模型（例如非 Astra）也能仅凭权重识别 Breakout 或圆形图像。
  • 有人报告 Astra 在他们自己的基于 Qwen 的设置里也修复了循环问题。
• 也有人尝试类似任务但失败了：
  • 编辑一个小型回归模型或自然语言分类器并没有稳定提升性能。
  • 在一个微型 transformer 语言模型上的测试结果，比传统训练更差。
• 总体来看，这种方法在不同任务、架构和规模上的泛化性与稳健性仍不清楚；几个人呼吁建立正式基准和独立复现。