Respuestas inesperadas de ChatGPT: informe del incidente

Naturaleza del error y especulación técnica

• La explicación de OpenAI (“se eligieron números incorrectos para los tokens en algunas configuraciones de GPU”) se considera extremadamente de alto nivel.
• Los comentaristas infieren causas probables: muestreo/decodificación defectuosos, errores de tokenización, problemas de precisión numérica, problemas de cuantización o bugs de los kernels de inferencia específicos de GPU/controlador.
• Algunos creen que el comportamiento se parece a máscaras aplicadas incorrectamente o penalizaciones/temperatura mal configuradas; otros lo comparan con índices de tokens ligeramente desplazados, que causan palabras “cercanas pero incorrectas”.

Críticas al postmortem

• Muchos dicen que esto no es un postmortem real, sino una nota de PR (“correcciones de errores y mejoras de rendimiento” en ese nivel).
• Falta: causa raíz concreta, cómo fallaron las pruebas, qué cambios de proceso evitarán la recurrencia.
• Algunos defienden la brevedad como suficiente para los usuarios, pero otros sostienen que la escala y el impacto exigen un RCA detallado, especialmente para clientes empresariales.

Ejemplos de salidas extrañas y reacciones de los usuarios

• Los usuarios informan salidas sintácticamente fluidas pero semánticamente absurdas: riffs poéticos, sopa de jerga empresarial/técnica, prosa “alucinante”, bucles de frases con patrones e invención de palabras que parecen plausibles.
• Una conversación compartida (“Chaz”) se lee como poesía surrealista y rítmica; otros la comparan con viajes de LSD, Timecube o habla esquizofrénica/afásica.
• A algunos les parece fascinante desde el punto de vista creativo; a otros les resulta perturbador, especialmente por lo convincente que sigue siendo el estilo.

Conciencia, cognición y antropomorfismo

• Debate sobre si esto demuestra la ausencia de conciencia, con contraejemplos de afasia humana, derrames cerebrales, enfermedad mental y “clanging”.
• Varios argumentan que el galimatías inducido por un bug no refuta la posibilidad de una conciencia de máquina; otros dicen que los LLM son imitadores sofisticados de texto sin comprensión.
• La discusión se ramifica hacia el panpsiquismo, qué significa siquiera “conciencia” y si las representaciones de los modelos de lenguaje neuronales se parecen a la actividad cerebral.

Fiabilidad, pruebas y uso en producción

• Preocupa que estos fallos silenciosos (galimatías en lugar de errores duros) sean peores que las caídas, especialmente en sistemas orientados a clientes o empresariales.
• Sugerencias: grandes suites de regresión de prompts/respuestas, comprobaciones semánticas automatizadas y arquitecturas agnósticas al modelo.
• Algunos destacan que los modelos y la infraestructura cambian rápidamente, lo que hace difícil pero necesario realizar pruebas robustas en distintas configuraciones de GPU.

Preocupaciones de seguridad, privacidad y riesgo

• Temor de que bugs similares puedan eludir filtros de seguridad, filtrar datos por lotes de usuarios o generar contenido dañino en lugar de simple disparate.
• Inquietud más amplia por desplegar sistemas opacos de “caja negra” a gran escala, con transparencia limitada sobre los fallos.

Reflexiones más amplias sobre el hype de la IA y sus limitaciones

• División entre quienes están impresionados por la utilidad y el comportamiento emergente, y quienes ven sobrehype y creencia “religiosa” en la inteligencia de los LLM.
• Varios critican el lenguaje antropomórfico como “alucinar” o “el modelo eligió”, argumentando que asigna mal la agencia y enturbia la rendición de cuentas.