GPT-3.5 se bloquea cuando piensa demasiado en useRalativeImagePath

Artículo original ↗ Discusión en Hacker News ↗

Un extraño fallo en GPT‑3.5 hace que se bloquee o se comporte de forma incoherente cada vez que encuentra el token poco usado `useRalativeImagePath`, probablemente relacionado con la forma en que el tokenizador y los datos de entrenamiento manejan ciertos “tokens fallidos.” Los comentaristas examinan posibles causas —desde embeddings defectuosos e inestabilidad numérica hasta filtros de posprocesado y listas negras— y señalan que GPT‑4 parece más robusto pese a compartir el mismo tokenizador. El incidente alimenta reflexiones más amplias sobre la calidad de los datos, entradas adversarias, las “palabras de muerte” para la seguridad de la IA y la fiabilidad y el rendimiento prácticos de los grandes modelos de lenguaje en aplicaciones del mundo real.

Tokens fallidos, tokenización y useRalativeImagePath

  • Varios comentaristas identifican useRalativeImagePath como un conocido “token fallido” en el tokenizador cl100k_base de GPT‑3.5/4.
  • Hipótesis: dichos tokens fueron extremadamente frecuentes en el corpus de origen del tokenizador (p. ej., nombres de usuario de Reddit, nombre de una opción XML de Katalon con un error tipográfico), y luego se eliminaron en gran medida antes del entrenamiento del modelo, dejando embeddings sin semántica significativa.
  • Alguien enlaza trabajos previos que enumeran tokens fallidos y señala que el vocabulario es de ~100k tokens, no 2^16.
  • El espacio en blanco afecta la tokenización: el fallo solo aparece si no hay un espacio precedente antes de useRalativeImagePath.

Por qué GPT-3.5 “se bloquea” y cómo generan tokens los LLM

  • Varios comentaristas subrayan que el modelo siempre produce tokens válidos de un vocabulario fijo mediante logits + softmax.
  • Una postura: el comportamiento tipo bloqueo probablemente no se deba a “tokens inválidos”, sino a problemas posteriores; por ejemplo, embeddings mal condicionados para estos tokens que causan inestabilidad numérica (NaNs) en la inferencia, o errores/filtros en la infraestructura de servicio de OpenAI.
  • Otros mencionan tokens especiales y capas de posprocesado como posibles fuentes de errores, pero señalan que los tokens especiales siguen originándose en el modelo.
  • Algunos sugieren que el token podría haberse incluido en una lista negra tras incidentes previos de “tokens innombrables”. Esto se presenta como especulación.

Seguridad, shibboleths y “palabras de muerte”

  • Varios usuarios bromearon sobre entrenar deliberadamente “palabras de muerte” o “palabras seguras de IA” que apaguen los modelos, pero otros argumentan que eso sería una puerta trasera insegura y, además, operaría a nivel del tokenizador, no de la “inteligencia” central.
  • Los tokens fallidos se comparan con shibboleths: frases que los humanos pueden repetir fácilmente pero que confunden a los LLM, potencialmente útiles para distinguir bots de humanos.

Fuentes de datos de entrenamiento y sesgo

  • Se habla de Reddit (incluido /r/counting) como probable dato de entrenamiento, con estimaciones de su tamaño y comentarios de que gran parte del contenido en línea es repetitivo.
  • Algunos especulan que el sesgo político temprano de ChatGPT podría deberse al uso intensivo de Reddit.

Comportamiento del modelo, censura y fiabilidad

  • Los usuarios comparten anécdotas de GPT‑3.5/4 fallando o reiniciándose ante ciertas instrucciones (incluidos temas sensibles y tareas técnicas oscuras).
  • Un comentarista señala que GPT‑4 también se comporta de forma extraña con el token fallido, sustituyendo palabras no relacionadas y dando explicaciones forzadas.

Meta: desvíos de UX y rendimiento

  • Varios comentarios critican o defienden la velocidad de la API de GPT‑4 y sus límites de contexto, lo que deriva en un subhilo acalorado sobre límites de tokens y acceso.
  • Los lectores se quejan del fondo, que provoca migrañas; posteriormente el autor lo elimina.