Qual é o melhor harness para cada modelo?

Avaliando 22 diferentes “harnesses” (runtimes de agentes e configurações de ferramentas) em vários modelos de codificação de pesos abertos, um novo benchmark conclui que a escolha do harness pode alterar o custo por tarefa bem-sucedida em até 4,4×, e que 64% do gasto em inferência nos testes foi para execuções que falharam nos benchmarks. Os comentaristas debatem o quão significativos são esses resultados, apontando cobertura limitada de tarefas, alta variância e a lacuna entre métricas binárias de aprovação/reprovação e fluxos de trabalho reais, nos quais humanos orientam, revisam e iteram com agentes. Muitos argumentam que os harnesses devem ser ajustados tanto a modelos específicos quanto a domínios ou projetos específicos, e que harnesses sob medida ou em evolução — em vez de padrões “tamanho único” — tendem a se tornar cada vez mais importantes à medida que os modelos melhoram.

Configuração da avaliação e enquadramento principal

  • O blog avalia 22 harnesses × 5 modelos de pesos abertos em 62 tarefas do Terminal Bench, com 4 tentativas cada, com foco em custo por aprovação.
  • Alguns comentaristas dizem que o título original da submissão (“64% do gasto em inferência foi para execuções que falharam”) foi sensacionalista em comparação com o título neutro do blog.
  • Esclarecimento: “falhou” significa “não passou em todos os critérios de teste”, e não falha de infraestrutura/execução.

Importância relativa de harness e modelo

  • Muitos concordam que os modelos dominam o desempenho/custo, mas a escolha do harness é uma segunda alavanca importante, especialmente em torno de contagem de passos e uso de ferramentas.
  • Alguns argumentam que treinamento ciente do harness e harnesses autossuficientes e em evolução são o futuro; harnesses fechados, não editáveis, são chamados de “anti-pattern”.
  • Outros relatam que, em sua experiência, o mesmo modelo em harnesses diferentes muitas vezes se comporta de forma semelhante, enquanto trocar de modelo muda o comportamento drasticamente.

Preocupações metodológicas e validade estatística

  • Críticos questionam:
    • Subconjunto pequeno e seletivo de tarefas do Terminal Bench (17 TB4, 45 TB2.1) e critérios pouco claros de seleção de tarefas.
    • Alta variância em tarefas longas e difíceis e número limitado de tentativas (4 execuções por tarefa).
    • Se as diferenças relatadas se manteriam em uma amostra maior e repetida.
  • Alguns veem o estudo mais como marketing do que como ciência rigorosa.

Agentes de programação, taxas de falha e uso no mundo real

  • Vários observam que humanos também falham com frequência; muitas tentativas de desenvolvimento e protótipos não “passam” na primeira vez.
  • Muitos veem um alto gasto com falhas como algo esperado e aceitável: o custo da falha é baixo, e tokens em execuções falhadas fazem parte da busca/exploração.
  • Outros questionam se aprovar/reprovar binariamente em testes ocultos é um bom proxy de “sucesso” em fluxos de trabalho reais, nos quais humanos orientam, revisam e refatoram.

Otimizando harnesses e modelos

  • As sugestões incluem:
    • Reduzir passos por aprovação em vez de apenas encurtar prompts, já que cada passo reenviia contexto.
    • Ajustar prompts do harness por modelo (alguns prompts ajudam um modelo, prejudicam outro).
    • Ajuste do lado do harness (prompts, ferramentas, habilidades) versus fine-tuning do modelo; alguns dizem que ajustar o harness costuma ser mais fácil.
  • Há interesse em fine-tuning de última milha para harnesses específicos, mas também preocupação com o custo computacional.

Definições e escopo de “harness”

  • Existe confusão sobre “harness” versus “agent”. Um enquadramento simples: harness + modelo ≈ agente.
  • Alguns veem harnesses como, em grande parte, loops simples com prompts e chamadas de ferramentas; outros enfatizam que orquestração multiagente, orçamentos e subagentes tornam o design do harness crucial.

Limites dos benchmarks e necessidades dos usuários

  • Comentadores ressaltam que benchmarks de uma única tarefa perdem preocupações em nível de projeto: memória entre tarefas, requisitos em evolução e fluxos de trabalho específicos de domínio.
  • Vários querem benchmarks que incluam modelos proprietários populares e harnesses ricos em ferramentas, não voltados apenas a código.
  • A conclusão para muitos: use essas avaliações como orientação aproximada, mas espere construir ou ajustar um harness adaptado ao seu domínio.