Conselhos de IA tornaram as pessoas menos precisas, mas mais confiantes – estudo
Conselhos impulsionados por IA parecem deixar as pessoas mais confiantes e menos precisas, segundo um estudo em que o acesso a um LLM reduziu bastante a disposição dos participantes de dizer “não sei”, mesmo quando o modelo estava frequentemente errado. Comentadores questionam o desenho do estudo — argumentando que efeitos parecidos podem surgir de qualquer fonte autoritativa, mas falha —, mas em geral concordam que ele destaca viés de automação e superconfiança na IA. Muitos apontam exemplos do mundo real, como Reddit, chats de trabalho e fóruns técnicos, onde usuários colam saídas não verificadas de IA como se fossem suas, levantando preocupações sobre degradação da qualidade da informação, perda de pensamento crítico e a necessidade de melhores normas e comportamentos dos modelos.
Link do estudo e achados básicos
- Comentaristas localizaram o preprint real e o compartilharam; alguns preferiram lê-lo diretamente em vez de cobertura secundária.
- O resumo da manchete foi repetido: conselhos de IA reduziram as respostas “não sei” e a precisão geral, ao mesmo tempo em que aumentaram a confiança.
- Alguns notaram que os participantes foram incentivados financeiramente a acertar, mas ainda assim seguiram respostas ruins da IA.
Críticas ao desenho e ao escopo do estudo
- Muitos argumentam que o experimento não isola nada especificamente “IA”: é essencialmente “livro aberto com uma referência defeituosa”.
- O modelo usado (Step 3.5 Flash) foi escolhido deliberadamente e instruído a errar em curiosidades obscuras sobre filmes e imagens; críticos dizem que isso é diferente do uso normal de IA e distorce fortemente os resultados.
- Controle ausente: não houve comparação com ferramentas não IA (por exemplo, um livro didático ruim ou resultados de busca ruins), então o efeito pode ser um genérico “viés de automação”.
- Outros contrapõem que isso ainda é relevante: LLMs de fato são pouco confiáveis em muitas հարցões factuais, e a descoberta de que “as pessoas superconfiam em ferramentas que parecem autoritativas, mas estão erradas” é importante de qualquer forma.
Questões sobre realismo e consequências
- As perguntas eram detalhes triviais de filmes; várias pessoas duvidam que o comportamento em curiosidades de baixo risco se traduza em decisões importantes do mundo real.
- Outros sugerem que riscos monetários maiores ou avisos mais claros (“esta IA costuma errar aqui”) mudariam o comportamento e deveriam ser testados.
Antropomorfismo, bajulação e design de produto
- Discussão sobre como marketing, interface e um estilo “educado, confiante” incentivam as pessoas a tratar LLMs como colegas inteligentes em vez de ferramentas falíveis.
- Debate sobre se os humanos são inevitavelmente propensos a antropomorfizar, ou se o design e a cultura podem atenuar isso de forma significativa.
Impacto em conselhos online e na cultura
- Forte consenso de que subreddits de conselhos/informação e alguns fóruns estão inundados por texto de LLM copiado e colado sem verificação, degradando a qualidade.
- As pessoas descrevem normas de trabalho e comunidade surgindo: desencorajar despejos brutos de IA, exigir síntese pessoal e tratar texto de IA sem identificação como desonesto ou desrespeitoso.
- Preocupações de que o conteúdo ruim gerado por IA retroalimente os dados de treinamento, causando uma espiral descendente na qualidade da informação.
Preocupações mais amplas e respostas propostas
- Temor de “Dunning–Kruger assistido por IA”: menos conhecimento, mais confiança.
- Sugestões: evitar usar LLMs em contextos críticos para a segurança, manter especialistas no circuito, enfatizar fundamentação e verificação, e ensinar “criticar a IA” como uma habilidade.