GPT-5.5 alucina 3x más que GLM-5.2 con licencia MIT

Métricas de alucinación e interpretación

• Las tasas de alucinación que se discuten son condicionales: miden el comportamiento solo cuando el modelo no sabe o se abstiene, no el error global en el uso cotidiano.
• Ejemplo: modelos con conteos de respuestas incorrectas idénticos pueden mostrar tasas de “alucinación” muy distintas según con qué frecuencia se abstienen.
• Algunos sostienen que esta métrica sigue siendo útil porque refleja la “disposición a inventarse cosas”; otros prefieren una tasa de error global (tokens engañosos / tokens totales).
• AA-Omniscience se destaca como un mejor benchmark: las respuestas correctas se recompensan, las alucinaciones se penalizan y “no lo sé” es neutral, de modo que adivinar siempre se castiga.

Tamaño del modelo, datos y alucinaciones

• El hilo disputa la idea de que “más grande = más alucinaciones” como regla universal.
• Ejemplos: una variante más pequeña de DeepSeek alucina mucho; un modelo propietario grande tiene una tasa de alucinación relativamente baja pero alucinaciones absolutas similares a las de uno más pequeño.
• Algunos sugieren que grandes conjuntos de datos factuales y el escalado agresivo pueden entrenar a los modelos para “responder a todo” en lugar de abstenerse.
• Otros señalan rendimientos decrecientes en capacidad por más parámetros y tokens, pero no hay evidencia clara de que el tamaño por sí solo impulse las alucinaciones.

Prompting, entrenamiento y diseño del sistema

• Varios comentarios subrayan que las comparaciones brutas entre modelos ignoran la ingeniería de prompts y las configuraciones de agentes que fomentan o recompensan decir “no lo sé”.
• Crítica: culpar al “mal prompting” se parece a culpar a los usuarios por un producto defectuoso; las expectativas las fija el marketing, que exagera la fiabilidad.
• Hay especulación de que los pipelines actuales de RLHF/RLVR optimizan respuestas interesantes y seguras en sí mismas por encima de abstenciones prudentes, infraentrenando el comportamiento de “no lo sé”.

Generación de código y calidad de software

• Hay una preocupación fuerte de que el código escrito por LLM pueda parecer bueno pero incorporar errores sutiles y “anomalías” que se acumulen hasta formar sistemas inmantenibles.
• Otros reportan buenos resultados cuando los LLM se usan como asistentes, con humanos revisando, añadiendo pruebas y aplicando prácticas habituales de ingeniería.
• Varios señalan que el código empresarial previo a los LLM también suele ser terrible; el listón quizá no sea tan alto como suponen los críticos.

Analogías humanas, límites y posibles soluciones

• Se hacen comparaciones con la sobreconfianza humana y el “hablar por hablar”, pero también con la capacidad humana de reconocer rápidamente “no lo sé”, ayudada por consecuencias y miedo.
• Se plantean ideas: módulos separados tipo “amígdala”, modelos secundarios para detectar alucinaciones, mejores incentivos (penalizar más las respuestas incorrectas que las abstenciones).
• Muchos dudan de que las alucinaciones puedan eliminarse por completo con las arquitecturas actuales; la mejor esperanza es reducir su frecuencia y mejorar la señalización de la incertidumbre propia.