Show HN：Gemini 4 Argon 玩《星际争霸》

原文 ↗ Hacker News 讨论 ↗

大型语言模型正在通过在严格的一小时限制内编写《StarCraft: Brood War》机器人来接受基准测试，然后让这些机器人与成熟的人类编写和 RL 训练对手对战。评论者讨论了这些智能体在多局游戏中如何调整策略、它们相较于依赖更强微操或长期学习的顶级机器人为何仍有不足，以及其表现究竟主要反映了对训练数据中代码的记忆，还是确实具备问题求解能力。这个基准被视为对“智能体式”能力的更广泛测试——包括规划、实验和后勤组织——同时也引发了关于执行环境设计、评测形式，以及这类结果与其他游戏和编程基准之间关联性的讨论。

基准概念与设置

  • LLM 获得大约 1 小时的时间，通过 BWAPI 编写《StarCraft: Brood War》神族（Protoss）机器人；随后这些机器人在多层级天梯中接受评估。
  • 时间压力被视为一种有用的约束，但也有人认为它“前后不一致”，因为它把编码速度、游戏理解、策略和实验都混合进了一个不透明的指标。
  • 支持者则认为这种“端到端”风格本身就是特性，类似于衡量公司营收或燃油效率。

性能与传统机器人对比

  • LLM 编写的机器人表现出人意料地好，其中一个模型击败了强力的 A/S 级神族机器人，并在某些层级达到了超过 50% 的胜率。
  • 面对顶级自博弈 RL 机器人 Pluto 和非常强的脚本机器人时，胜率会下降到个位数；尤其是 Pluto，被形容为远远超出可及范围。
  • 人类编写的机器人整体上仍然胜过 LLM 机器人，而顶级人类玩家仍然会击败这些人类编写的机器人。

策略、学习与局限

  • 在 1 小时窗口内，智能体可以与评测机器人进行练习赛（不能访问源代码）。
  • 一份详细记录描述了一个 LLM 机器人如何进展到：
    • 稳健但通用的宏观运营（单矿地面龙骑/观察者，后期扩张）。
    • 高方差的 all-in（伪装 2 兵营 Zealot）。
    • 针对特定对手弱点的、基于利用的策略（黑暗圣堂武士转两矿时机配合灵能风暴）。
  • 这个 LLM 主要是在简化游戏状态并减少决策点，而不是掌握完整的游戏复杂度。
  • 面对 Pluto，即使经过数百局，糟糕的开局顺序和宏观改进不足的问题仍未解决。

训练数据、记忆与“通用 g”

  • 几位评论者担心，这些结果可能只是记住了训练数据中的开源机器人。
  • 也有人指出，顶级机器人本身就是规模很大的代码库，而且共享的 LLM 输出示例据说并不像现有机器人。
  • 多个独立的游戏/编码基准（《星际争霸》、围棋、其他编程任务）显示相同的模型排名顺序；有人据此将其解读为存在某种通用能力因子，但也有人指出“参差不齐”的弱点和糟糕判断依然存在。

APM、人类与 AI，以及直接对战

  • 机械操作并不是唯一瓶颈；好的决策比原始 APM 更重要。
  • 允许每分钟数千次动作的超人类微操专精《Brood War》天梯机器人，已经能主宰人类。
  • 通过视觉/鼠标将前沿 LLM 作为实时玩家来运行，目前被认为太慢；编写代码的基准则被认为更可行。

设计选择与未来方向

  • 选择神族对神族是为了降低复杂度，并且因为神族机器人工具链更成熟。
  • 一些人希望在《StarCraft 2》、其他 RTS/FPS 游戏，或基于神经网络的训练流水线上做类似基准，让 LLM 设计并训练更小的、面向具体游戏的模型。