Devin: Ingeniero de software de IA

Artículo original ↗ Discusión en Hacker News ↗

Hype, demos y confianza

  • A muchos les impresiona el pulido de las demos y los números de SWE‑Bench frente a modelos anteriores.
  • Otros encuentran engañosa la demo de Upwork: Devin no cumplió realmente con los requisitos publicados (por ejemplo, instrucciones de configuración de AWS), lo que plantea preocupaciones de confianza sobre ejemplos seleccionados a conveniencia.
  • Varios quieren que las bases de código generadas sean de código abierto o grabaciones más crudas y sin editar para juzgar la calidad real.

Capacidades actuales vs utilidad en el mundo real

  • La puntuación de SWE‑Bench (~13.9% de issues resueltos vs ~2–5% del SOTA anterior) se ve como un progreso real, pero lejos de un “ingeniero listo para producción”.
  • Limitación clave: aún tienes que validar todo; si verificar la salida de Devin lleva casi tanto tiempo como escribirla, el valor neto no está claro.
  • La gente compara Devin con otras herramientas agénticas (Sweep, GPT Engineer, Pythagora, etc.) y señala dificultades similares: coherencia a lo largo del tiempo, arquitectura, grandes bases de código, bugs sutiles.

LLMs como herramientas de programación hoy

  • Muchos reportan fuertes mejoras con Copilot/Claude/GPT en:
    • Generación de boilerplate y pequeños módulos
    • Traducción entre lenguajes/APIs
    • Escritura o andamiaje de tests
    • Sustitución de documentación/búsqueda y resúmenes rápidos
  • Pero también reportan APIs alucinadas con frecuencia, poco conocimiento de bibliotecas, razonamiento superficial y una caída pronunciada en tareas más grandes y matizadas.

Calidad del código, mantenimiento y riesgo a largo plazo

  • Preocupación de que el código escrito por agentes aumente la deuda técnica y produzca “spaghetti irremediable”, especialmente en bases de código maduras.
  • La gente teme “desastres generados por IA” que aún requieran humanos experimentados para rescatar y mantener.
  • Escepticismo fuerte de que sistemas complejos y críticos para la seguridad (por ejemplo, autopilotos, infraestructura bancaria) vayan a quedar en manos de agentes de la generación actual.

Empleo, juniors e implicaciones económicas

  • Gran debate sobre si herramientas como Devin:
    • Reemplazarán una gran parte de los desarrolladores (especialmente juniors), o
    • Simplemente aumentarán la productividad y desplazarán a los humanos hacia diseño de nivel superior y “gestión de IA”.
  • Muchos ven a los juniors como los más en riesgo y se preocupan por cómo se formarán los futuros seniors si desaparece la base de la escalera.
  • Debates sobre redistribución/UBI: algunos argumentan que enormes ganancias de productividad podrían financiar redes de seguridad; otros apuntan a la historia y dudan de que cualquier superávit se comparta.

Analogías históricas y plazos

  • Comparaciones con:
    • La imprenta, los tractores, la revolución industrial → beneficio neto a largo plazo pero transiciones duras.
    • El hype de los coches autónomos → grandes promesas, despliegue real más lento.
  • División entre “esto es temprano pero inevitable” y “estamos sobrestimando la IA actual; probablemente primero habrá otro invierno de IA o una meseta”.