AMD 收购 Taalas，以将模型蚀刻进硅片来提升推理性能

演示性能与模型质量

• 使用量化后的 Llama 3.1 8B 的 ChatJimmy 演示显示约 15–17k tokens/sec，响应几乎是即时的。许多人把这种“体感”比作从拨号上网升级到宽带。
• 用户表示它在速度上“神奇”，在基础知识、代码片段、摘要和简单应用方面表现尚可。
• 与此同时，它经常产生幻觉（错误的词源、公司历史、数学题，以及像 Bruce Lee 的出生地这类事实问答），并且在推理和精确性任务上表现吃力。
• 几位评论者指出，小型的 2024 年代模型已经有类似弱点；这里的新意在于吞吐量，而不是智能。

架构与可扩展性

• Taalas 使用一种非冯·诺依曼的存内计算设计：权重被物理编码在金属层中，作为 4 位常量输入到专用乘法单元。
• HC1：约 815 mm² 的 TSMC 6nm，约 530 亿晶体管，硬连线一个 80 亿参数模型；其余相当一部分面积是用于 KV cache 的 SRAM，限制了上下文长度。
• 这种方式通过消除外部权重读取带来巨大的速度和功耗收益，但要扩展到 270 亿到 1000 亿参数模型，意味着需要许多大芯片、互连复杂度以及良率挑战。
• 讨论指出，ROM 极其致密，但 KV cache 和芯片间带宽会成为新的瓶颈。

经济性、过时性与模型生命周期

• 一派观点认为：在 SOTA 每月都在变化、ASIC 设计周期又很长的情况下，把权重烘焙进硅片就是“加速过时”。
• 反方认为：很多工作负载并不需要前沿智能；一个 6–24 个月前的模型，只要便宜 10–100 倍、速度更快，就已经非常有吸引力。
• 建议的分层模式：较新的模型运行在高端硬件上；上一代模型运行在廉价、超高速的 ASIC 上，用于批量推理（客服、内容审核、路由、子代理）。
• 商业角度：固定功能芯片可以带来周期性的硬件换新收入，类似手机或视频编解码模块。

潜在用例

• 边缘与嵌入式：机器人、无人机、汽车、家电、工业系统，在这些场景里，延迟、功耗和可预测性比最前沿的 IQ 更重要。
• 面向桌面的 PCIe/USB/M.2“模型卡带”，或消费设备中的可插拔模块；也可能出现像 RAM 或主机卡带那样标准化的“AI 插槽”。
• Agentic 工作流：大量并行调用、多样本投票、工具链和子代理链路；速度提升会把瓶颈转移到 I/O、文件访问和网络。
• 实时多模态：视频处理、包含数千个代理的密集仿真、游戏内 NPC、设备端助手。

AMD 策略与竞争格局

• 有人认为，这次收购是对存内计算 IP 和团队的明智获取，也是在与 Nvidia、Groq、Cerebras 以及前沿实验室的自研 ASIC 竞争。
• 也有人担心 AMD 可能会把它埋进或限制在数据中心产品里，扼杀廉价消费级/发烧级硬件的希望。

更广泛的思考

• 几位评论者强调，当前模型的“峰值性能”很高，但“可靠性能”仍处于中游；把行为烘焙进不可更新的硅片会带来安全与利用漏洞方面的担忧。
• 许多人预测，一旦模型能力趋于平台期，这类硬件可能会成为基础性基础设施。