¿Por qué son tan tontos los agentes de programación?

Artículo original ↗ Discusión en Hacker News ↗

Está creciendo la frustración entre desarrolladores que consideran que los “agentes de programación” basados en LLM modernos siguen teniendo problemas con el trabajo real de software, desde coordinar subtareas y elegir modelos adecuados hasta mantener la calidad del código y respetar la arquitectura del proyecto con el tiempo. Los comentarios se dividen entre quienes ven las limitaciones actuales como síntomas de harnesses y flujos de trabajo inmaduros —argumentando que, con un contexto cuidadoso, herramientas personalizadas y orquestación de agentes, los resultados pueden ser excelentes— y quienes creen que la tecnología simplemente rinde por debajo de lo prometido en cuanto a codificación autónoma. El intercambio destaca una división emergente: algunos ingenieros están invirtiendo mucho en marcos y herramientas de agentes a medida, mientras que otros siguen usando los LLM como asistentes en lugar de dejar que conduzcan desarrollos complejos.

Sentimiento general

  • Muchos coinciden en que los agentes de programación actuales parecen “tontos” en la práctica, pero hay división:
    • Algunos dicen que los modelos de primer nivel recientes, junto con mejores configuraciones, han corregido en gran medida los problemas del artículo.
    • Otros informan de meses de frustración, especialmente en proyectos no triviales y de larga duración.

Harnesses vs. modelos

  • Varios sostienen que la mayoría de los problemas son de harness/orquestación, no de limitaciones del modelo:
    • Prompts predeterminados pobres; sin énfasis en subagentes, paralelismo o separación de roles.
    • Algunos harnesses (p. ej., versiones más recientes) pueden generar muchas subtareas asíncronas; otros siguen siendo secuenciales o frágiles.
    • La gente describe orquestadores personalizados que delegan en modelos más baratos/rápidos y usan roles distintos.

Subagentes, paralelismo y selección de modelos

  • Experiencias mixtas:
    • Algunos informan de resultados excelentes con agentes autónomos que toman tickets y abren PRs, o ejecutan muchos agentes en un mismo repositorio.
    • Otros encuentran que los subagentes ralentizan las cosas y empeoran los resultados.
  • La selección dinámica de modelos (inteligente vs. barato) sigue siendo en su mayoría manual o impulsada por prompts; se considera difícil estimar automáticamente la dificultad.

Calidad del código y flujos de revisión

  • Muchos se quejan de que el código escrito por IA “funciona pero es feo”:
    • Demasiado complicado, tipado débil, arquitectura poco clara, mal “gusto”.
  • Mitigaciones sugeridas:
    • Desarrollo guiado por documentación; escribir primero especificaciones/documentación con el agente.
    • Codificar la filosofía y el estilo en AGENTS.md y en documentos markdown “fuente de verdad”.
    • Usar hooks/subagentes de revisión que critiquen y reescriban automáticamente el código frente a un estilo explícito y una “definición de hecho”.

Prompting, contexto e ingeniería del entorno

  • Algunos insisten en que el diseño cuidadoso del contexto/prompt/entorno es esencial:
    • Tratar todo lo que ve el modelo —archivos, docs, estructura— como parte del prompt.
    • Construir herramientas y habilidades locales en lugar de depender de plugins genéricos.
  • Otros discrepan, señalando que la mayoría de los usuarios no tiene tiempo para pasar meses construyendo marcos de trabajo a medida.

Seguridad y sandboxing

  • Fuerte preocupación por los agentes con acceso al sistema de archivos/red:
    • Se recomiendan sandboxes/contenedores, pero siguen existiendo riesgos de escape y de cadena de suministro (p. ej., scripts en .git).
    • Algunos dan a los agentes acceso de solo lectura a git y los aíslan en redes.

Meta: expectativas y madurez

  • Varios dicen que la lista de deseos de funciones “obvias” debería venir integrada por defecto en los harnesses, pero aún estamos en una etapa temprana de la “era de la IA”.
  • Hay tensión entre “si lo quieres, constrúyelo con un agente” y “la mayoría de la gente espera razonablemente un mejor comportamiento de fábrica”.