GPT-5.5 alucina 3x mais do que o GLM-5.2 com licença MIT

Métricas de alucinação e interpretação

• As taxas de alucinação discutidas são condicionais: medem o comportamento apenas quando o modelo não sabe ou se abstém, não o erro geral no uso cotidiano.
• Exemplo: modelos com contagens idênticas de respostas erradas podem mostrar “taxas de alucinação” muito diferentes dependendo de quantas vezes se abstêm.
• Alguns argumentam que essa métrica ainda é útil porque reflete a “disposição de inventar coisas”; outros preferem uma taxa de erro global (tokens enganosos / total de tokens).
• AA-Omniscience é destacado como um benchmark melhor: respostas corretas são recompensadas, alucinações são penalizadas, e “não sei” é neutro, de modo que adivinhar sempre é punido.

Tamanho do modelo, dados e alucinações

• O thread contesta a ideia de que “maior = mais alucinações” como regra universal.
• Exemplos: uma variante menor do DeepSeek alucina bastante; um grande modelo proprietário tem uma taxa de alucinação relativamente baixa, mas alucinações absolutas semelhantes às de um modelo menor.
• Alguns sugerem que grandes conjuntos de dados factuais e escalonamento agressivo podem treinar modelos a “responder tudo” em vez de se absterem.
• Outros observam retornos decrescentes em capacidade com mais parâmetros e tokens, mas sem evidência clara de que o tamanho, por si só, gere alucinações.

Prompting, treinamento e design de sistema

• Vários comentários enfatizam que comparações brutas entre modelos ignoram engenharia de prompt e configurações de agentes que incentivam ou recompensam dizer “não sei”.
• Crítica: culpar o “prompt ruim” é comparado a culpar usuários por um produto defeituoso; as expectativas são definidas por marketing que exagera a confiabilidade.
• Há especulação de que os pipelines atuais de RLHF/RLVR otimizam respostas interessantes e confiantes em vez de abstenções seguras, subtreinando o comportamento de “não sei”.

Geração de código e qualidade de software

• Há forte preocupação de que código escrito por LLM possa parecer bom, mas incorporar erros sutis e “anomalias” que se acumulam em sistemas difíceis de manter.
• Outros relatam bons resultados quando LLMs são usados como assistentes, com humanos revisando, adicionando testes e aplicando práticas comuns de engenharia.
• Vários observam que código corporativo pré-LLM também costuma ser péssimo; o padrão talvez não seja tão alto quanto os críticos assumem.

Analogias humanas, limites e possíveis correções

• Fazem-se comparações com a autoconfiança humana e o “blá-blá-blá”, mas também com a capacidade humana de reconhecer rapidamente “não sei”, ajudada por consequências e medo.
• Ideias levantadas: módulos separados tipo “amígdala”, modelos secundários para detectar alucinações, melhores incentivos (penalizar respostas erradas mais do que abstenções).
• Muitos duvidam que as alucinações possam ser totalmente eliminadas com arquiteturas atuais; a melhor esperança é reduzir a frequência e melhorar a sinalização de incerteza.