IA “alucinou” casos jurídicos falsos apresentados ao tribunal da B.C. em primeiro caso no Canadá
Citações jurídicas “alucinadas” geradas por IA aparecendo em documentos apresentados ao tribunal canadense provocam debate sobre como advogados devem (e não devem) usar grandes modelos de linguagem. Comentadores contrastam o baixo custo e os ganhos de produtividade da IA com sua tendência a fabricar informações plausíveis, porém falsas, argumentando que revisão humana, ferramentas melhores (como sistemas aumentados por recuperação) e uma responsabilização profissional mais clara são essenciais. De forma mais ampla, a conversa reflete preocupações maiores com a confiança excessiva do público na IA, seu impacto na democracia e nos padrões profissionais, e a tentação de usá-la como bode expiatório para a negligência humana.
Âmbito do Incidente
- Questão central: advogados apresentaram documentos judiciais com casos jurídicos inventados por IA, refletindo o uso indevido de LLMs de uso geral, e não um comportamento surpreendente do modelo.
- Alguns veem isso como equivalente a “água é molhada” (LLMs alucinam por design); outros enfatizam que isso é notícia porque o sistema jurídico e o público ainda tratam a saída do computador como inerentemente precisa.
Responsabilidade e Sanções
- Visão firme: submeter citações falsas é má conduta grave; vários comentaristas argumentam que tais advogados deveriam ser descredenciados, especialmente quando citam casos que nunca leram.
- Visão mais leniente: usuários iniciais podem genuinamente não ter entendido que a IA pode fabricar coisas; os primeiros casos justificavam multas, não sanções capazes de encerrar carreiras, mas agora que o risco é amplamente conhecido, as penalidades devem aumentar.
- Preocupação mais ampla: a IA será usada como uma nova forma de transferir a responsabilidade (“foi a IA”), dando continuidade a uma longa tendência de culpar “o computador”.
Como LLMs Devem e Não Devem Ser Usados
- Uso recomendado: redigir texto padrão, parafrasear, resumir, sintetizar a partir de fontes verificadas; não pesquisa jurídica primária.
- Alguns relatam economias substanciais de custo (10–50% do custo humano) em domínios como suporte ao cliente, mas reconhecem alucinações persistentes e erros sutis.
- Forte discordância sobre capacidade de programação: alguns dizem que LLMs não conseguem construir apps completos de forma confiável; outros relatam apps simples e funcionais com supervisão humana, mas admitem que isso não serve para sistemas complexos e cria dívida técnica.
Alucinação, Verdade e Verificação
- Debate sobre a terminologia: vários preferem “confabulação” a “alucinação”.
- Mitigações propostas: geração aumentada por recuperação (RAG), fine-tuning específico de domínio ou agentes “verificadores” secundários; outros observam que a alucinação é, na prática, um “recurso” quando a criatividade é desejada.
- Consenso: em domínios críticos como o direito, especialistas humanos devem verificar citações e os casos subjacentes.
Preocupações Sociais e Políticas Mais Amplas
- Preocupação generalizada com pessoas confiando demais em LLMs devido ao seu estilo fluente e não julgador, especialmente em um ambiente propenso à desinformação.
- Alguns preveem que a IA acelere uma “corrida para o fundo” na qualidade do código e enfraqueça a democracia liberal; outros veem um pessimismo exagerado, argumentando que a sociedade se adaptará, como aconteceu com a internet.
- A especulação vai de governos operados por IA como utopia a resultados distópicos, com acordo geral de que os modelos atuais estão muito longe desse estágio.