Qwenputer：一个在 Qwen3.5 内部可运行、确定性的 RISC-V CPU

原文 ↗ Hacker News 讨论 ↗

一项新实验将一个确定性的 RISC-V CPU、RAM，甚至一个微型文件系统直接嵌入 Qwen3.5 语言模型的权重之中，实际上把神经网络的一部分变成了一台传统计算机，供模型在内部调用。评论者围绕这究竟是一个巧妙的可解释性与工具化里程碑，还是一个过度工程化的技术演示展开争论，同时也讨论了它对 LLM 确定性、持续学习、内部工具使用，以及符号计算与神经表示融合的意义。许多人对“内置、可训练‘硬件’”用于精确计算和长期记忆的前景感到好奇，即便当前实现仍然缓慢、受限且多少有些刻意为之。

实现与机制问题

  • 有人问，CPU 仿真除了通过门控注意力做 RAM 技巧之外，实际上是怎么工作的：CPU 是被“硬编码”进权重里，还是训练出来去实现 RISC-V 的步进函数？
  • 有人澄清，CPU 可以看作是从前一状态到下一状态的纯函数，这与 transformer 作为函数的视角相契合。
  • 也有人困惑这到底算不算真正的“内部”机制，还是在张量空间里一个专门的运行时/工具流水线；时钟与控制流也仍然不太清楚。

确定性与实用性争论

  • 一派认为，这是一个有力的展示：只要工程设计得当，LLM 可以是严格确定性的，反驳了“LLM 天生非确定性”的说法。
  • 怀疑者则认为，这只是个玩具方案：现实中的 LLM 使用仍然实际上是非确定性的，而这并没有改变这一点。
  • 有人说这更像是一个 Rube Goldberg 机器或技术演示（类似在类型系统里运行 Doom），有趣但多余。
  • 也有人觉得这确实令人兴奋，因为它提供了一种将符号计算与 LLM“脑”紧密耦合的方式。

持续学习、冻结权重与记忆

  • 讨论集中在，是否可以在继续训练模型的同时保留这个 CPU。
  • 有人提出的思路包括：冻结与 CPU 相关的权重；使用在“未使用”子空间中运作的微调方法来保留核心能力。
  • 担忧是：即使某些层被冻结，其他层的变化也可能让 CPU 变得更难访问或不可靠。
  • 有人把这种架构（CPU + RAM + 文件系统都在权重中）视为持续学习和长期记忆的一个候选方向。

内置计算单元与相关实验

  • 多位参与者对在模型中部嵌入可复用、冻结的计算模块很感兴趣，例如 FFT、数学运算、求解器、知识图谱等，让网络学会在内部调用它们。
  • 还提到了前后相关工作：执行 WASM 的 transformer、能运行 Doom 的自定义微型网络、类 lattice-deduction 的网络，以及类似 AdderBoard 的手工构造 transformer。

可解释性、操控与安全

  • 另有一条分支在讨论“邪恶模式”以及通过单神经元或方向进行 LLM steering；并将其与近期的可解释性研究和单义概念联系起来。
  • 有人担心，这类清晰的“开关”再加上开源权重，会降低制作有害变体的门槛。
  • 还有一些玩笑和半认真评论提到失配对齐的代理、把行为隐藏在内部 RAM/文件系统里，以及这正是情报机构会觊觎的能力。

局限与批评

  • 评论者指出，自定义宿主运行时仍然会加载固件、控制哪些层运行，并在内部路由类工具调用，因此“没有外部运行时”的说法被认为有些夸张。
  • 在某些数学基准上的准确率并不完美，这让人质疑一个并不总能正确计算的 CPU 的价值。
  • 总体反应是：既钦佩其巧思，也对其实用性和效率抱有怀疑。