La IA gestiona incidentes, los ingenieros pierden el contacto con sus sistemas

Artículo original ↗ Discusión en Hacker News ↗

A medida que los sistemas de IA diagnostican y remedián cada vez más incidentes de producción, muchos ingenieros temen estar perdiendo la intuición práctica necesaria para comprender y operar de forma segura software complejo. Los comentaristas trazan paralelismos con las “ironías de la automatización” de la aviación, señalando que cuando las máquinas se encargan del trabajo rutinario, los humanos practican menos y pueden no estar preparados para fallos raros y de alto impacto, especialmente cuando nuevas generaciones empiezan sus carreras en un mundo mediado por IA. Otros replican que, si se usa bien, la IA puede elevar el “suelo” operativo, acelerar la resolución de problemas y liberar a los expertos para centrarse en la arquitectura y los guardarraíles, pero solo si las organizaciones invierten deliberadamente en formación, simulación y límites claros para las acciones automatizadas.

Rol de la IA en incidentes y operaciones

  • Muchos consideran que los LLM ya superan a los humanos en el triaje de sistemas observables y estandarizados (p. ej., Kubernetes, infraestructura en la nube), acotando rápidamente las causas raíz.
  • Otros sostienen que cualquier cambio producido por IA sigue siendo un sistema de información que los humanos pueden inspeccionar; los incidentes realmente difíciles seguirán requiriendo operadores competentes.
  • Existe la preocupación de que “la IA se encargue de los tickets fáciles”, dejando a los humanos solo incidentes raros y graves sin suficiente práctica real, en un eco de los problemas de automatización de la aviación.

Atrofia de habilidades y pérdida de intuición sobre el sistema

  • Tema recurrente: usar IA se siente como “arenas movedizas” — cuanto más escribe/depura, menos intuición tienen los ingenieros sobre sus propios sistemas y código.
  • Ingenieros senior informan regresiones en colegas: saltar directamente a la IA, forzar mensajes de error a la brava, perder disciplina de depuración y pensamiento arquitectónico.
  • La mayor preocupación recae en los juniors, que quizá nunca desarrollen los fundamentos, especialmente bajo presión de tiempo y una cultura de “usa IA o eres lento”.

Calidad del código generado por IA y depuración

  • Quejas: código sobrediseñado, verboso, duplicado e inconsistente; “librerías” inestables que cambian con cada generación; explosión de deuda técnica.
  • Otros replican que, en muchas bases de código existentes, la salida de los LLM ya es mejor que el código humano promedio y es excelente para refactors/ports cuando se guía bien.
  • Los resultados de benchmarks y las anécdotas muestran que los modelos son “espigados”: brillantes en algunos bugs, terribles o propensos a alucinaciones en otros. La confianza sigue siendo un problema central.

Incentivos organizacionales y cultura

  • Varios comentarios culpan a la dirección: los OKR incentivan explícitamente el uso intensivo de IA, herramientas low-code y velocidad de entrega por encima de la comprensión o la confiabilidad.
  • Algunos argumentan que esto refleja patrones de larga data en la industria (outsourcing, RPA, “operaciones mediante scripts”) más que algo verdaderamente nuevo.
  • Hay tensión entre ver a los desarrolladores como artesanos o como mano de obra intercambiable de entrega; la IA amplifica ese conflicto.

Mitigaciones y prácticas propuestas

  • Sugerencias: simulacros/chaos engineering, simulaciones de incidentes tipo tabletop, guardarraíles explícitos (AGENTS.md), bucles RPI/SDD y roles de “chef de IA” para mediar el uso de herramientas.
  • Énfasis en mantener a los humanos al mando de la arquitectura, los límites y las áreas de alto riesgo, con la IA como cincel, no como piloto automático.
  • Algunos abogan por profesionalización/licencias (análogas a las de los pilotos) para obligar a entrenar en incidentes y evitar recortes de esquina.

Trayectoria a más largo plazo y preguntas abiertas

  • Opiniones divididas:
    • Un lado predice un equilibrio en el que los niveles de abstracción se estabilizan y la IA es “solo otra herramienta”.
    • Otros prevén una dependencia profunda: los humanos ya no entienden los sistemas subyacentes, y la IA construye y supervisa pilas opacas.
  • Cómo formar expertos en un mundo con IA primero sigue sin resolverse.