IA lida com incidentes, engenheiros perdem o contato com seus sistemas

À medida que sistemas de IA passam a diagnosticar e remediar incidentes em produção com mais frequência, muitos engenheiros temem estar perdendo a intuição prática necessária para entender e operar software complexo com segurança. Comentadores fazem paralelos com as “ironias da automação” na aviação, observando que, quando as máquinas assumem o trabalho rotineiro, os humanos têm menos repetições e podem não estar preparados para falhas raras e de alto risco — especialmente quando novas gerações começam suas carreiras em um mundo mediado por IA. Outros contrapõem que, quando bem usada, a IA pode elevar o piso operacional, acelerar a depuração e liberar especialistas para se concentrar em arquitetura e guardrails, mas apenas se as organizações investirem deliberadamente em treinamento, simulação e limites claros para ações automatizadas.

Papel da IA em Incidentes e Operações

  • Muitos veem os LLMs já superando humanos na triagem em sistemas observáveis e padronizados (por exemplo, Kubernetes, infraestrutura em nuvem), reduzindo rapidamente as causas-raiz.
  • Outros argumentam que qualquer mudança produzida por IA ainda é um sistema de informação que os humanos podem inspecionar; incidentes realmente difíceis ainda exigirão operadores competentes.
  • Há preocupação de que “a IA limpa os tickets fáceis”, deixando os humanos apenas com incidentes raros e severos, sem prática suficiente, ecoando os problemas de automação da aviação.

Atrofia de Habilidades e Perda de Intuição do Sistema

  • Tema recorrente: usar IA parece “areia movediça” — quanto mais ela escreve/debugeia, menos intuitiva fica a compreensão que os engenheiros têm de seus próprios sistemas e código.
  • Engenheiros seniores relatam colegas regredindo: indo direto para a IA, forçando mensagens de erro na marra, perdendo disciplina de depuração e pensamento arquitetural.
  • A preocupação é maior para juniores, que talvez nunca construam fundamentos, especialmente sob pressão de tempo e da cultura de “use IA ou você é lento”.

Qualidade do Código Gerado por IA e Depuração

  • Reclamações: código superengenheirado, verboso, duplicado e inconsistente; “bibliotecas” instáveis que mudam a cada geração; explosão da dívida técnica.
  • Outros contrapõem que, em muitas bases de código existentes, a saída de LLMs já é melhor do que o código humano médio e excelente para refatorações/portagens quando guiadas.
  • Resultados de benchmarks e relatos mostram que os modelos são “espinhosos”: brilhantes em alguns bugs, terríveis ou propensos a alucinações em outros. A confiança continua sendo um problema central.

Incentivos Organizacionais e Cultura

  • Vários comentários culpam a gestão: OKRs incentivando explicitamente o uso intenso de IA, ferramentas de low-code e velocidade de entrega acima de entendimento ou confiabilidade.
  • Alguns argumentam que isso espelha padrões de longa data da indústria (terceirização, RPA, “ops via scripts”) em vez de algo exclusivamente novo.
  • Há tensão entre ver desenvolvedores como artesãos versus mão de obra substituível de entrega; a IA amplia esse conflito.

Mitigações e Práticas Propostas

  • Sugestões: exercícios/chaos engineering, simulações de incidentes em mesa, guardrails explícitos (AGENTS.md), loops RPI/SDD e papéis de “AI chef” mediando o uso das ferramentas.
  • Ênfase em manter humanos no comando da arquitetura, das fronteiras e das áreas de alto risco, com a IA como um cinzel, não um piloto automático.
  • Alguns defendem profissionalização/licenciamento (análogos a pilotos) para forçar treinamento em incidentes e evitar cortar caminhos.

Trajetória de Longo Prazo e Questões em Aberto

  • Visões divididas:
    • Um lado prevê um equilíbrio em que os níveis de abstração se estabilizam e a IA é “apenas mais uma ferramenta”.
    • Outros preveem dependência profunda: humanos deixando de entender os sistemas subjacentes, com a IA tanto construindo quanto vigiando pilhas opacas.
  • Como treinar especialistas em um mundo AI-first continua sem solução.