El Ejército de EE. UU. tuvo un susto tras usar IA para un informe de inteligencia alucinatorio
Un informe de inteligencia generado por IA llevó recientemente al ejército de EE. UU. a preparar la interceptación armada de un barco chino que creía falsamente que transportaba materiales nucleares con destino a Irán, reavivando los temores sobre los sistemas automatizados en la guerra de alto riesgo. Los comentaristas vinculan este susto con errores anteriores de selección de objetivos asistida por IA, como el bombardeo de una escuela de niñas en Irán, y sostienen que los líderes militares y políticos pueden usar “la IA cometió un error” para desviar la responsabilidad por crímenes de guerra y malas decisiones. El intercambio pone de relieve preocupaciones más profundas sobre la excesiva confianza en LLM opacos, la erosión de la supervisión humana y el riesgo de que salidas de máquina defectuosas o sesgadas desencadenen catástrofes del mundo real mucho antes de que aparezca alguna superinteligencia hipotética.
Uso de IA en la selección de objetivos y la inteligencia
- El hilo gira en torno a un incidente informado en el que el ejército de EE. UU. casi intercepta un barco chino basándose en un informe de inteligencia incorrecto generado por IA.
- Muchos lo ven como una confirmación de que delegar decisiones de alto riesgo en LLMs es temerario, especialmente cuando los operadores confían demasiado en las salidas.
- Algunos sostienen que la IA es solo la última de una larga línea de herramientas de inteligencia defectuosas; el problema central es el mal uso humano y la presión institucional para “encontrar objetivos”.
Responsabilidad, crímenes de guerra y “cobertura”
- Hay una gran preocupación de que la IA se convierta en chivo expiatorio de atrocidades (“la IA dio mal la inteligencia”), empeorando una responsabilidad ya de por sí débil por crímenes de guerra.
- Otros responden que sí existe escrutinio, pero no responsabilidad; la IA no cambia fundamentalmente esa dinámica.
- Debate sobre el reciente bombardeo de una escuela en Irán:
- Una parte afirma que la selección de objetivos asistida por IA (Palantir/Project Maven) lo eligió y que se desmantelaron unidades de revisión.
- Otros sospechan de “AI-washing”: se cita a la IA como cobertura para ataques deliberados o al menos negligentes, o dudan de que la IA haya intervenido en absoluto.
Riesgo de escalada y paralelos históricos
- Comparaciones con fallos por poco nucleares (p. ej., la falsa alarma del sistema soviético de alerta temprana) y los detonantes de la Primera Guerra Mundial; un manifiesto de carga alucinado que casi provoca un conflicto se considera igualmente absurdo y peligroso.
- Varios señalan que, si esto se hubiera gestionado mal, podría haber desencadenado una confrontación entre EE. UU. y China, mostrando lo frágil que es la disuasión.
Fiabilidad, “alucinaciones” y debate técnico
- Larga subdiscusión sobre qué son las “alucinaciones” de los LLM:
- Algunos dicen que es solo error estadístico en la predicción del siguiente token y una propiedad inherente.
- Otros argumentan que “alucinación” es una vuelta de marketing que minimiza los errores reales y desplaza la culpa.
- Desacuerdo sobre cuánto se entiende realmente a los LLM: desde “simples bases de datos vectoriales con modos de fallo conocidos” hasta “sistemas profundamente opacos cuyo comportamiento emergente apenas comprendemos”.
- Consenso en que no se les debe confiar como autoridad en ámbitos críticos sin una verificación humana rigurosa.
Gobernanza de la IA y sociedad en general
- Temor a que la IA cause una catástrofe no por volverse superinteligente, sino por permitir que humanos demasiado confiados, perezosos o guiados políticamente tomen peores decisiones más rápido.
- Algunos vinculan esto con el militarismo estadounidense más amplio, la politización de la inteligencia (p. ej., las ADM en Irak) y el liderazgo político actual.
- Otros subrayan la necesidad de mantener a los humanos firmemente en el circuito, exigir trazas de auditoría/pasos de razonamiento y resistirse a normalizar “lo hizo la IA” como excusa.