¿Cuál es el mejor harness para cada modelo?

Al evaluar 22 “harnesses” distintos (runtimes de agentes y configuraciones de herramientas) en varios modelos de código de peso abierto, un nuevo benchmark encuentra que la elección del harness puede cambiar el coste por tarea satisfactoria hasta 4,4×, y que el 64% del gasto de inferencia en las pruebas se destinó a ejecuciones que fallaron los benchmarks. Los comentaristas debaten cuán significativos son estos resultados, señalando la cobertura limitada de tareas, la alta varianza y la brecha entre las métricas binarias de pase/fallo y los flujos de trabajo reales, donde los humanos orientan, revisan e iteran con agentes. Muchos argumentan que los harnesses deberían ajustarse tanto a modelos específicos como a dominios o proyectos concretos, y que los harnesses a medida o evolutivos —en lugar de valores predeterminados “talla única”— cobrarán cada vez más importancia a medida que mejoren los modelos.

Configuración de evaluación y encuadre del titular

  • El blog evalúa 22 harnesses × 5 modelos de peso abierto en 62 tareas de Terminal Bench, con 4 intentos cada una, centrándose en el coste por pase.
  • Algunos comentaristas dicen que el título original de la publicación (“64% of inference spend went to runs that failed”) estaba sensacionalizado en comparación con el título neutral del blog.
  • Aclaración: “failed” significa “no pasó todos los criterios de prueba”, no un fallo de infraestructura/ejecución.

Importancia relativa de harness y modelo

  • Muchos coinciden en que los modelos dominan el rendimiento/coste, pero la elección del harness es una segunda palanca importante, especialmente en torno al número de pasos y el uso de herramientas.
  • Algunos argumentan que el entrenamiento consciente del harness y los harnesses autoevolutivos son el futuro; los harnesses cerrados, no editables, se califican como un “anti-pattern”.
  • Otros informan que, en su experiencia, el mismo modelo en distintos harnesses a menudo se comporta de forma parecida, mientras que cambiar de modelo altera el comportamiento drásticamente.

Preocupaciones metodológicas y validez estadística

  • Los críticos cuestionan:
    • El subconjunto pequeño y selectivo de tareas de Terminal Bench (17 TB4, 45 TB2.1) y los criterios poco claros de selección de tareas.
    • La alta varianza en tareas largas y difíciles y el número limitado de intentos (4 ejecuciones por tarea).
    • Si las diferencias reportadas se mantendrían en una muestra más grande y repetida.
  • Algunos consideran el estudio más marketing que ciencia rigurosa.

Agentes de código, tasas de fallo y uso real

  • Varios señalan que los humanos también fallan a menudo; muchos intentos de desarrollo y prototipos no “aprueban” al primer intento.
  • Muchos ven el alto gasto en fallos como algo esperado y aceptable: el coste del fallo es bajo, y los tokens en ejecuciones fallidas forman parte de la búsqueda/exploración.
  • Otros se preguntan si el pase/fallo binario en tests ocultos es un buen proxy de “éxito” en flujos de trabajo reales donde los humanos guían, revisan y refactorizan.

Optimización de harnesses y modelos

  • Las sugerencias incluyen:
    • Reducir los pasos por pase en lugar de limitarse a acortar prompts, ya que cada paso reenvía el contexto.
    • Ajustar los prompts del harness por modelo (algunos prompts ayudan a un modelo y perjudican a otro).
    • Ajuste del lado del harness (prompts, herramientas, habilidades) frente a fine-tuning del modelo; algunos dicen que ajustar el harness suele ser más fácil.
  • Hay interés en fine-tuning de última milla para harnesses específicos, pero también preocupación por el coste computacional.

Definiciones y alcance de “harness”

  • Existe confusión sobre “harness” frente a “agente”. Un encuadre simple: harness + modelo ≈ agente.
  • Algunos ven los harnesses sobre todo como bucles simples con prompts y llamadas a herramientas; otros subrayan que la orquestación multiagente, los presupuestos y los subagentes hacen que el diseño del harness sea crucial.

Límites de los benchmarks y necesidades de los usuarios

  • Los comentaristas recalcan que los benchmarks de una sola tarea pasan por alto preocupaciones a nivel de proyecto: memoria entre tareas, requisitos cambiantes y flujos de trabajo específicos del dominio.
  • Varios quieren benchmarks que incluyan modelos propietarios populares y harnesses no centrados en código, ricos en herramientas.
  • La conclusión para muchos: usar estas evaluaciones como una guía aproximada, pero esperar construir o ajustar un harness adaptado a su dominio.