GPT-5.6 Sol 可以在和平模式下击败 Factorio

原文 ↗ Hacker News 讨论 ↗

一项展示 Anthropic 的 GPT‑5.6 “Sol” 代理在自动化游戏 Factorio 中发射火箭（和平模式）的实验，引发了人们对它究竟说明了什么的赞赏与质疑。评论者指出，模型严重依赖手动搬运物品以及从 wiki 和攻略中获得的先验知识；只有在没有实时压力（如敌人进攻）时表现才好，并且在长期规划和可扩展工厂设计上仍然吃力。许多人认为，这与其说是“通用游戏智能”，不如说是 LLM 未来可能在复杂游戏中充当助手或 NPC 的一瞥：在物流、对话或策略上提供帮助，而把核心玩法和创造性交给人类。

演示实际展示了什么

  • 由 LLM 控制的代理在和平模式下击败了 Factorio，但到了后期很大程度上依赖“快递员”式行为：使用玩家化身在彼此不连通的系统之间手动搬运物品。
  • 有人认为这很聪明：代理把工程师当成另一种自动化物流单元，而不是“人工劳动”。
  • 也有人认为，这说明模型并没有真正理解 Factorio 的核心机制——基于传送带和机器人实现的自动化。

手工搬运 vs 真正的自动化

  • 人类玩家早期会手工供料，但通常会逐步转向传送带/机器人，因为走路和箱子倒腾既乏味又无法扩展。
  • 有几条评论指出，LLM 不会感到无聊或“懒惰”，所以它们很乐意维持大量微操，利用了设计者从未需要专门堵上的玩法漏洞。
  • 粗略估算表明，长期来看传送带更占优势；人类会通过经验发现这一点，而模型似乎更慢才会做出这种架构层面的跃迁。

和平模式与缺失的战斗

  • 很多人指出，和平模式移除了实时压力：代理可以无限暂停来思考。
  • 爆虫会要求快速反应、主动防御以及死亡风险；当前的 LLM 在这种实时、长时段规划上仍然吃力。
  • 来自其他有多个模型参与的 Factorio 直播的观察显示：它们会被动修补防线，但很少会发展出稳健、前瞻性的军事或围墙策略。

训练数据与“隐藏信息”

  • 关于 Factorio 是否存在“隐藏”信息存在争论：所有数值和配方都是可见的，但未来的扩展需求（例如铜、电路、后期科研）对新手来说并不直观。
  • 有人指出，模型很可能已经摄入了 wiki、攻略、蓝图和规划器，因此它们并不是严格意义上“从零学习”。
  • 也有人反驳说，早期模型也接触过同样的数据，但仍然无法完成这类任务，所以能力提升并不只是记忆造成的。

对游戏 AI 的更广泛影响

  • 很多人觉得“AI 玩游戏”很有趣，但更看好这些方向：
    • 更好的 RTS / 4X 对手。
    • 具备动态对话和行为的 NPC。
    • 监控或维护复杂工厂的“园丁”。
  • 也有担忧：实时延迟、成本、本地游玩时小模型的局限，以及如何维持人类编写叙事的意图。

热情与怀疑并存

  • 支持者把这看作一个比普通演示更强的基准，并认为这证明了快速进步（还引用了宝可梦和 FF7 的跑图/通关案例）。
  • 怀疑者则强调：和平模式、强先验知识、慢速游玩、糟糕的高层规划，以及薄弱的架构决策，尤其与有经验的人类相比更是如此。