每个模型最适合的 harness 是什么?

一项新基准在若干开源权重编程模型上评估了 22 种不同的“harness”(agent 运行时与工具配置),结果发现 harness 的选择会让单个成功任务的成本相差高达 4.4 倍,而且测试中的推理开销有 64% 花在了未通过基准的运行上。评论者就这些结果的意义展开争论,指出任务覆盖有限、方差较高,以及二元通过/失败指标与真实工作流之间的差距——在真实工作流中,人类会指导、审查并与代理迭代。许多人认为,harness 既应针对特定模型调优,也应针对特定领域或项目调优,而随着模型不断进步,定制化或可演化的 harness——而不是“一刀切”的默认方案——将变得越来越重要。

评测设置与标题表述

  • 这篇博客在 62 个 Terminal Bench 任务上,对 22 个 harness × 5 个开源权重模型进行了评估,每个任务尝试 4 次,重点关注每次通过的成本。
  • 一些评论者认为,原始投稿标题(“64% 的推理开销花在了失败运行上”)相比博客较为中性的标题更显耸动。
  • 说明:这里的“失败”指的是“没有通过全部测试标准”,而不是基础设施/运行时失败。

harness 与模型的重要性

  • 许多人同意模型在性能/成本上占主导,但 harness 的选择是一个重要的第二杠杆,尤其是在步数和工具使用方面。
  • 有人认为,面向 harness 的训练和自我演化的 harness 是未来;封闭、不可编辑的 harness 被称为一种“反模式”。
  • 也有人表示,就他们的经验来看,同一个模型在不同 harness 中的行为往往相似,而切换模型则会显著改变行为。

方法论担忧与统计有效性

  • 批评者质疑:
    • Terminal Bench 任务的样本子集很小且有选择性(17 个 TB4、45 个 TB2.1),任务选择标准也不清楚。
    • 长而难的任务方差很高,而且尝试次数有限(每个任务 4 次运行)。
    • 报告中的差异是否会在更大、重复采样中成立。
  • 一些人认为这项研究更像营销,而不是严谨科学。

编码代理、失败率与真实世界使用

  • 有几位指出,人类也经常失败;很多开发尝试和原型第一次都不会“通过”。
  • 许多人认为较高的失败开销是可以预期且可接受的:失败成本很低,而且失败运行中的 token 也是搜索/探索的一部分。
  • 也有人质疑,在真实工作流中,隐藏测试上的二元通过/失败是否真能作为“成功”的良好代理,因为人类会进行引导、审查和重构。

优化 harness 与模型

  • 建议包括:
    • 与其只缩短提示词,不如减少每次通过的步骤数,因为每一步都会重新发送上下文。
    • 针对不同模型调节 harness 提示词(某些提示词对某个模型有帮助,却会伤害另一个模型)。
    • 在 harness 侧进行调优(提示词、工具、技能)而不是模型微调;有人认为调 harness 通常更容易。
  • 人们对针对特定 harness 进行最后一公里微调很感兴趣,但也担心算力成本。

“harness”的定义与范围

  • 对“harness”与“agent”的概念存在困惑。一个简单的说法是:harness + model ≈ agent。
  • 有些人把 harness 看作主要是带有提示词和工具调用的简单循环;另一些人则强调,多代理编排、预算和子代理使 harness 设计变得至关重要。

基准的局限与用户需求

  • 评论者强调,单任务基准会遗漏项目级问题:跨任务记忆、不断变化的需求,以及特定领域的工作流。
  • 许多人希望基准能包含流行的专有模型,以及非编码、工具丰富的 harness。
  • 对很多人的启示是:把这类评测当作粗略参考,但预期还是要为自己的领域构建或调优一个定制 harness。