Qual é o melhor harness para cada modelo?
Avaliando 22 diferentes “harnesses” (runtimes de agentes e configurações de ferramentas) em vários modelos de codificação de pesos abertos, um novo benchmark conclui que a escolha do harness pode alterar o custo por tarefa bem-sucedida em até 4,4×, e que 64% do gasto em inferência nos testes foi para execuções que falharam nos benchmarks. Os comentaristas debatem o quão significativos são esses resultados, apontando cobertura limitada de tarefas, alta variância e a lacuna entre métricas binárias de aprovação/reprovação e fluxos de trabalho reais, nos quais humanos orientam, revisam e iteram com agentes. Muitos argumentam que os harnesses devem ser ajustados tanto a modelos específicos quanto a domínios ou projetos específicos, e que harnesses sob medida ou em evolução — em vez de padrões “tamanho único” — tendem a se tornar cada vez mais importantes à medida que os modelos melhoram.
Configuração da avaliação e enquadramento principal
- O blog avalia 22 harnesses × 5 modelos de pesos abertos em 62 tarefas do Terminal Bench, com 4 tentativas cada, com foco em custo por aprovação.
- Alguns comentaristas dizem que o título original da submissão (“64% do gasto em inferência foi para execuções que falharam”) foi sensacionalista em comparação com o título neutro do blog.
- Esclarecimento: “falhou” significa “não passou em todos os critérios de teste”, e não falha de infraestrutura/execução.
Importância relativa de harness e modelo
- Muitos concordam que os modelos dominam o desempenho/custo, mas a escolha do harness é uma segunda alavanca importante, especialmente em torno de contagem de passos e uso de ferramentas.
- Alguns argumentam que treinamento ciente do harness e harnesses autossuficientes e em evolução são o futuro; harnesses fechados, não editáveis, são chamados de “anti-pattern”.
- Outros relatam que, em sua experiência, o mesmo modelo em harnesses diferentes muitas vezes se comporta de forma semelhante, enquanto trocar de modelo muda o comportamento drasticamente.
Preocupações metodológicas e validade estatística
- Críticos questionam:
- Subconjunto pequeno e seletivo de tarefas do Terminal Bench (17 TB4, 45 TB2.1) e critérios pouco claros de seleção de tarefas.
- Alta variância em tarefas longas e difíceis e número limitado de tentativas (4 execuções por tarefa).
- Se as diferenças relatadas se manteriam em uma amostra maior e repetida.
- Alguns veem o estudo mais como marketing do que como ciência rigorosa.
Agentes de programação, taxas de falha e uso no mundo real
- Vários observam que humanos também falham com frequência; muitas tentativas de desenvolvimento e protótipos não “passam” na primeira vez.
- Muitos veem um alto gasto com falhas como algo esperado e aceitável: o custo da falha é baixo, e tokens em execuções falhadas fazem parte da busca/exploração.
- Outros questionam se aprovar/reprovar binariamente em testes ocultos é um bom proxy de “sucesso” em fluxos de trabalho reais, nos quais humanos orientam, revisam e refatoram.
Otimizando harnesses e modelos
- As sugestões incluem:
- Reduzir passos por aprovação em vez de apenas encurtar prompts, já que cada passo reenviia contexto.
- Ajustar prompts do harness por modelo (alguns prompts ajudam um modelo, prejudicam outro).
- Ajuste do lado do harness (prompts, ferramentas, habilidades) versus fine-tuning do modelo; alguns dizem que ajustar o harness costuma ser mais fácil.
- Há interesse em fine-tuning de última milha para harnesses específicos, mas também preocupação com o custo computacional.
Definições e escopo de “harness”
- Existe confusão sobre “harness” versus “agent”. Um enquadramento simples: harness + modelo ≈ agente.
- Alguns veem harnesses como, em grande parte, loops simples com prompts e chamadas de ferramentas; outros enfatizam que orquestração multiagente, orçamentos e subagentes tornam o design do harness crucial.
Limites dos benchmarks e necessidades dos usuários
- Comentadores ressaltam que benchmarks de uma única tarefa perdem preocupações em nível de projeto: memória entre tarefas, requisitos em evolução e fluxos de trabalho específicos de domínio.
- Vários querem benchmarks que incluam modelos proprietários populares e harnesses ricos em ferramentas, não voltados apenas a código.
- A conclusão para muitos: use essas avaliações como orientação aproximada, mas espere construir ou ajustar um harness adaptado ao seu domínio.