Exército dos EUA teve um quase acidente após usar IA em relatório de inteligência alucinado
Um relatório de inteligência gerado por IA recentemente levou o exército dos EUA a preparar uma interceptação armada de um navio chinês que ele acreditava falsamente estar transportando materiais nucleares destinados ao Irã, reacendendo temores sobre sistemas automatizados em guerras de alto risco. Comentadores ligam esse quase acidente a erros anteriores de alvos assistidos por IA, como o bombardeio de uma escola de meninas no Irã, e argumentam que líderes militares e políticos podem usar “a IA cometeu um erro” para desviar a responsabilidade por crimes de guerra e decisões ruins. A troca destaca preocupações mais profundas sobre confiar demais em LLMs opacos, a erosão da supervisão humana e o risco de saídas de máquina falhas ou enviesadas desencadearem catástrofes no mundo real muito antes de qualquer hipotética superinteligência aparecer.
Uso de IA em Alvos e Inteligência
- A discussão gira em torno de um incidente relatado em que o exército dos EUA quase interceptou um navio chinês com base em um relatório de inteligência incorreto gerado por IA.
- Muitos veem isso como confirmação de que delegar decisões de alto risco a LLMs é imprudente, especialmente quando os operadores confiam demais nas saídas.
- Alguns argumentam que a IA é apenas o mais recente de uma longa linha de ferramentas de inteligência falhas; o problema central é o uso humano indevido e a pressão institucional para “encontrar alvos”.
Responsabilização, Crimes de Guerra e “Álibi”
- Há forte preocupação de que a IA se torne um bode expiatório para atrocidades (“a IA deu informação errada”), piorando ainda mais a já fraca responsabilização por crimes de guerra.
- Outros respondem que existe escrutínio, mas não responsabilização; a IA não muda fundamentalmente essa dinâmica.
- Debate sobre o recente bombardeio de uma escola no Irã:
- Um lado afirma que o direcionamento assistido por IA (Palantir/Project Maven) selecionou o alvo e que as unidades de revisão foram desmontadas.
- Outros suspeitam de “AI-washing”: a IA citada como cobertura para ataques deliberados ou ao menos negligentes, ou duvidam que a IA tenha participado de fato.
Risco de Escalada e Paralelos Históricos
- Comparações com quase falhas nucleares (por exemplo, o falso alarme do alerta antecipado soviético) e gatilhos da Primeira Guerra Mundial; um manifesto de carga alucinado quase causando um conflito é visto como igualmente absurdo e perigoso.
- Vários observam que, se isso tivesse sido mal conduzido, poderia ter desencadeado uma confrontação entre EUA e China, mostrando como a dissuasão é frágil.
Confiabilidade, “Alucinações” e Debate Técnico
- Longo subthread sobre o que são “alucinações” de LLMs:
- Alguns dizem que é apenas erro estatístico na previsão do próximo token e uma propriedade inerente.
- Outros argumentam que “alucinação” é um verniz de marketing que minimiza erros reais e transfere a culpa.
- Discordância sobre o quão bem os LLMs são compreendidos: de “simples bancos de dados vetoriais com modos de falha conhecidos” a “sistemas profundamente opacos cujo comportamento emergente mal entendemos.”
- Consenso de que eles não devem ser tratados como autoridade em domínios críticos sem verificação humana rigorosa.
Governança Mais Ampla da IA e Sociedade
- Temores de que a IA cause uma catástrofe não por se tornar superinteligente, mas por permitir que humanos excessivamente confiantes, preguiçosos ou politicamente motivados tomem decisões piores mais rapidamente.
- Alguns conectam isso ao militarismo mais amplo dos EUA, à politização da inteligência (por exemplo, WMD no Iraque) e à liderança política atual.
- Outros enfatizam a necessidade de manter os humanos firmemente no circuito, exigir trilhas de auditoria/registros de raciocínio e resistir à normalização de “foi a IA” como desculpa.