OpenTPU – 一个由 AI 开发的开源 AI 加速器

原文 ↗ Hacker News 讨论 ↗

一个名为 OpenTPU 的开源项目使用大语言模型来帮助设计 AI 推理加速器，运行在通用 FPGA 板上，并通过一种递归自我改进的循环迭代其硬件，在小型现代模型上实现了有竞争力的 token 吞吐量。评论者讨论了它相较于 GPU、TPU 和新兴 ASIC（将模型硬编码进硅片）有多新颖、多实用，并辩论了内存带宽、晶圆厂交付周期等瓶颈，以及芯片会不会比模型稳定下来更快过时。讨论进一步扩展到对 AI 设计硬件的担忧与乐观、软件岗位可能被取代，以及自治 AI 系统、对齐和经济影响等长期问题。

项目概览与性能

  • OpenTPU 是一个开源的 AI 推理加速器，很大程度上借助 LLM 协助以及一个“递归自我改进”循环来设计。
  • 最初每秒只能产生少量 token，现在在一块退役的、约 300 美元的带 DDR3 的 FPGA 板上，针对一个 2.3 亿参数模型（LFM2.5-230M）可达到约 80+ tokens/sec。
  • 作者声称，在该硬件上它已经达到理论性能的约 80–90%，现在受限于内存带宽；下一步计划转向 DDR4/HBM2 FPGA。
  • 有人认为它是很好的教育参考，从 Python 矩阵乘法一路到 RTL；也有人指出，它实际上只是一个计算单元，与完整的 AI ASIC 相比还缺少复杂的 I/O 和互连子系统。

FPGAs、GPUs 与 ASICs

  • 对 FPGAs 的描述是：
    • 非常适合验证架构、确定性时序以及极端并行的内存访问。
    • 但受限于时钟速度、片上存储、容量以及相对 GPUs 的成本；当前高端 FPGA 现实中无法承载前沿模型。
  • 共识是：FPGAs 更适合原型验证和边缘场景，而不是主流 LLM 推理的主力工具。
  • 有人猜测，可能会出现由 AI 设计、类似 FPGA 或粗粒度可重构阵列、并针对 ML 优化的芯片。

模型上芯片 / 专用硅之争

  • 一个反复出现的问题是：为什么不把前沿模型“烧”进芯片里？
  • 反对意见：
    • 模型的 SOTA 变化比 ASIC 设计—流片—部署周期快得多；快速过时风险很高。
    • 晶圆厂产能、掩模成本和交付周期都是主要瓶颈。
    • 前沿模型（尤其是 MoE）参数量巨大；将权重做成稠密 ROM 在技术和经济上都很困难。
    • 通用 GPU 仍然很灵活；同一个集群可以随着新模型出现继续运行。
  • 支持意见：
    • 许多“够好”的模型会被持续大量使用一年以上；让 ASIC 以极低成本、极高 tokens/sec 运行这些模型，经济上可能非常合理。
    • 新兴创业公司和项目已经在探索面向 Transformer 或模型特定的硅方案（例如 mask-ROM 权重阵列、存内计算）。
    • 有人设想分层：前沿模型跑在 GPUs 上，中低层稳定模型跑在基于 ROM 的加速器中。

递归自我改进与主体性

  • 一些人将 OpenTPU 视为早期、良性的递归自我改进：模型改进将来运行它们的硬件。
  • 也有人强调，LLMs 仍然只是工具，并不具备内在主动性；是人类（或 agent harness）在选择目标和提示词。
  • 讨论的一个焦点是：在验证、仿真准确性和昂贵原型制作都存在约束的情况下，AI 驱动的硬件设计何时才能在很大程度上实现自动化。

更广泛的社会与哲学线索

  • 对廉价、快速推理的担忧很明显：
    • 即使模型只是“够好”，人们仍担心工资会“卷向底部”，以及大规模失业。
    • 讨论延伸到手艺工作、UBI、FIRE，以及如何确保广泛受益的困难。
  • 还有较长的分支在讨论 LLM 到底是真正“发明”还是在重组训练数据，以及潜在的 ASI 风险：
    • 有人认为，任何无限制目标都可能驱使 ASI 将生物生命视为资源竞争者。
    • 也有人反驳说，物理限制、可能的平台期、wireheading，以及在实现稳健的物理世界主体性方面的困难，都会形成约束。