IA «alucinó» casos legales falsos presentados ante el tribunal de B.C. en una primicia canadiense
Las citas legales «alucinadas» generadas por IA que aparecen en escritos judiciales canadienses desatan un debate sobre cómo los abogados deberían y no deberían usar los modelos de lenguaje grandes. Los comentaristas contraponen el bajo coste y las ganancias de productividad de la IA con su tendencia a fabricar información plausible pero falsa, y sostienen que la revisión humana, mejores herramientas (como los sistemas aumentados por recuperación) y una responsabilidad profesional más clara son esenciales. En términos más generales, la conversación refleja preocupaciones más amplias sobre la sobreconfianza del público en la IA, su impacto en la democracia y en los estándares profesionales, y la tentación de usarla como chivo expiatorio de la negligencia humana.
Alcance del incidente
- Problema central: los abogados presentaron escritos judiciales con casos legales inventados por IA, lo que refleja un uso indebido de los LLM de propósito general más que un comportamiento sorprendente del modelo.
- Algunos ven esto como equivalente a «el agua está mojada» (los LLM alucinan por diseño); otros destacan que es noticia porque el sistema legal y el público siguen tratando la salida del ordenador como inherentemente precisa.
Responsabilidad y sanciones
- Postura firme: presentar citas falsas es una mala praxis grave; varios comentaristas sostienen que esos abogados deberían ser inhabilitados, especialmente cuando citan casos que nunca leyeron.
- Postura más indulgente: los primeros usuarios quizá no entendían de verdad que la IA puede fabricar información; los primeros casos justificaban multas, no sanciones que arruinen la carrera, pero ahora que el riesgo es ampliamente conocido, las penas deberían aumentar.
- Preocupación más amplia: la IA se usará como una nueva forma de eludir la responsabilidad («la IA lo hizo»), continuando una larga tendencia a culpar «al ordenador».
Cómo se deben y no se deben usar los LLM
- Uso recomendado: redactar texto estándar, parafrasear, resumir, sintetizar a partir de fuentes verificadas; no para investigación jurídica primaria.
- Algunos informan ahorros sustanciales de costes (10–50% del coste humano) en ámbitos como la atención al cliente, pero reconocen alucinaciones persistentes y errores sutiles.
- Fuerte desacuerdo sobre la capacidad de programación: algunos dicen que los LLM no pueden construir de forma fiable aplicaciones completas; otros informan de aplicaciones simples y funcionales con supervisión humana, pero admiten que no sirven para sistemas complejos y generan deuda técnica.
Alucinación, verdad y verificación
- Debate sobre la terminología: varios prefieren «confabulación» en lugar de «alucinación».
- Mitigaciones propuestas: generación aumentada por recuperación (RAG), ajuste fino específico del dominio o agentes verificadores secundarios; otros señalan que la alucinación es, en efecto, una «característica» cuando se desea creatividad.
- Consenso: en dominios críticos como el derecho, expertos humanos deben verificar las citas y los casos subyacentes.
Preocupaciones sociales y políticas más amplias
- Preocupación generalizada por que la gente confíe demasiado en los LLM debido a su estilo fluido y no enjuiciador, especialmente en un entorno propenso a la desinformación.
- Algunos prevén que la IA acelere una «carrera hacia el fondo» en la calidad del código y socave la democracia liberal; otros ven un apocalipsis exagerado y argumentan que la sociedad se adaptará como con Internet.
- La especulación va desde gobiernos dirigidos por IA como utopía hasta resultados distópicos, con un acuerdo general en que los modelos actuales están muy lejos de esa etapa.