¿Cuál es el mejor harness para cada modelo?
Al evaluar 22 “harnesses” distintos (runtimes de agentes y configuraciones de herramientas) en varios modelos de código de peso abierto, un nuevo benchmark encuentra que la elección del harness puede cambiar el coste por tarea satisfactoria hasta 4,4×, y que el 64% del gasto de inferencia en las pruebas se destinó a ejecuciones que fallaron los benchmarks. Los comentaristas debaten cuán significativos son estos resultados, señalando la cobertura limitada de tareas, la alta varianza y la brecha entre las métricas binarias de pase/fallo y los flujos de trabajo reales, donde los humanos orientan, revisan e iteran con agentes. Muchos argumentan que los harnesses deberían ajustarse tanto a modelos específicos como a dominios o proyectos concretos, y que los harnesses a medida o evolutivos —en lugar de valores predeterminados “talla única”— cobrarán cada vez más importancia a medida que mejoren los modelos.
Configuración de evaluación y encuadre del titular
- El blog evalúa 22 harnesses × 5 modelos de peso abierto en 62 tareas de Terminal Bench, con 4 intentos cada una, centrándose en el coste por pase.
- Algunos comentaristas dicen que el título original de la publicación (“64% of inference spend went to runs that failed”) estaba sensacionalizado en comparación con el título neutral del blog.
- Aclaración: “failed” significa “no pasó todos los criterios de prueba”, no un fallo de infraestructura/ejecución.
Importancia relativa de harness y modelo
- Muchos coinciden en que los modelos dominan el rendimiento/coste, pero la elección del harness es una segunda palanca importante, especialmente en torno al número de pasos y el uso de herramientas.
- Algunos argumentan que el entrenamiento consciente del harness y los harnesses autoevolutivos son el futuro; los harnesses cerrados, no editables, se califican como un “anti-pattern”.
- Otros informan que, en su experiencia, el mismo modelo en distintos harnesses a menudo se comporta de forma parecida, mientras que cambiar de modelo altera el comportamiento drásticamente.
Preocupaciones metodológicas y validez estadística
- Los críticos cuestionan:
- El subconjunto pequeño y selectivo de tareas de Terminal Bench (17 TB4, 45 TB2.1) y los criterios poco claros de selección de tareas.
- La alta varianza en tareas largas y difíciles y el número limitado de intentos (4 ejecuciones por tarea).
- Si las diferencias reportadas se mantendrían en una muestra más grande y repetida.
- Algunos consideran el estudio más marketing que ciencia rigurosa.
Agentes de código, tasas de fallo y uso real
- Varios señalan que los humanos también fallan a menudo; muchos intentos de desarrollo y prototipos no “aprueban” al primer intento.
- Muchos ven el alto gasto en fallos como algo esperado y aceptable: el coste del fallo es bajo, y los tokens en ejecuciones fallidas forman parte de la búsqueda/exploración.
- Otros se preguntan si el pase/fallo binario en tests ocultos es un buen proxy de “éxito” en flujos de trabajo reales donde los humanos guían, revisan y refactorizan.
Optimización de harnesses y modelos
- Las sugerencias incluyen:
- Reducir los pasos por pase en lugar de limitarse a acortar prompts, ya que cada paso reenvía el contexto.
- Ajustar los prompts del harness por modelo (algunos prompts ayudan a un modelo y perjudican a otro).
- Ajuste del lado del harness (prompts, herramientas, habilidades) frente a fine-tuning del modelo; algunos dicen que ajustar el harness suele ser más fácil.
- Hay interés en fine-tuning de última milla para harnesses específicos, pero también preocupación por el coste computacional.
Definiciones y alcance de “harness”
- Existe confusión sobre “harness” frente a “agente”. Un encuadre simple: harness + modelo ≈ agente.
- Algunos ven los harnesses sobre todo como bucles simples con prompts y llamadas a herramientas; otros subrayan que la orquestación multiagente, los presupuestos y los subagentes hacen que el diseño del harness sea crucial.
Límites de los benchmarks y necesidades de los usuarios
- Los comentaristas recalcan que los benchmarks de una sola tarea pasan por alto preocupaciones a nivel de proyecto: memoria entre tareas, requisitos cambiantes y flujos de trabajo específicos del dominio.
- Varios quieren benchmarks que incluyan modelos propietarios populares y harnesses no centrados en código, ricos en herramientas.
- La conclusión para muchos: usar estas evaluaciones como una guía aproximada, pero esperar construir o ajustar un harness adaptado a su dominio.