GPT-3.5 trava quando pensa demais em useRalativeImagePath
Um bug estranho no GPT‑3.5 faz com que ele erre ou se comporte de forma incoerente sempre que encontra o token raramente usado `useRalativeImagePath`, provavelmente ligado à forma como o tokenizer e os dados de treino lidam com certos “glitch tokens.” Os comentaristas examinam possíveis causas — de embeddings mal formados e instabilidade numérica a filtros de pós-processamento e blacklist — e observam que o GPT‑4 parece mais robusto, apesar de compartilhar o mesmo tokenizer. O incidente alimenta reflexões mais amplas sobre qualidade de dados, entradas adversariais, “kill words” de segurança em IA e a confiabilidade e desempenho práticos de grandes modelos de linguagem em aplicações reais.
Glitch tokens, tokenization e useRalativeImagePath
- Vários comentaristas identificam
useRalativeImagePathcomo um conhecido “glitch token” no tokenizercl100k_basedo GPT‑3.5/4. - Hipótese: esses tokens eram extremamente frequentes no corpus de origem do tokenizer (por exemplo, nomes de usuário do Reddit, nome de opção XML do Katalon com um erro de digitação) e depois foram em grande parte removidos antes do treinamento do modelo, deixando embeddings sem semântica significativa.
- Alguém लिंकa trabalhos anteriores que enumeram glitch tokens e observa que o vocabulário tem cerca de 100k tokens, não 2^16.
- O espaço em branco afeta a tokenização: o glitch só aparece se não houver um espaço antes de
useRalativeImagePath.
Por que o GPT-3.5 “trava” e como LLMs geram tokens
- Vários comentaristas enfatizam que o modelo sempre produz tokens válidos de um vocabulário fixo via logits + softmax.
- Uma visão: o comportamento de travamento provavelmente não é “tokens inválidos”, mas problemas a jusante — por exemplo, embeddings mal condicionados para esses tokens causando instabilidade numérica (NaNs) na inferência, ou bugs/filtros na infraestrutura de serving da OpenAI.
- Outros mencionam tokens especiais e camadas de pós-processamento como fontes potenciais de erro, mas observam que tokens especiais ainda se originam do modelo.
- Alguns sugerem que o token pode ter sido colocado em blacklist após incidentes anteriores com “unspeakable token”. Isso é apresentado como especulação.
Segurança, shibboleths e “palavras de morte”
- Vários usuários brincam com a ideia de treinar deliberadamente “palavras de morte” ou “palavras seguras para IA” que desligariam modelos, mas outros argumentam que isso seria uma backdoor insegura e, de qualquer forma, opera no nível do tokenizer, não da “inteligência” central.
- Glitch tokens são comparados a shibboleths: frases que humanos conseguem repetir facilmente, mas que derrubam LLMs, potencialmente úteis para distinguir bots de humanos.
Fontes de dados de treino e viés
- O Reddit (incluindo /r/counting) é discutido como provável dado de treino, com estimativas do seu tamanho e comentários de que grande parte do conteúdo online é repetitiva.
- Alguns especulam que o viés político inicial do ChatGPT possa ter vindo do uso intenso do Reddit.
Comportamento do modelo, censura e confiabilidade
- Usuários compartilham relatos anedóticos de o GPT‑3.5/4 falhar ou reiniciar em certos prompts (incluindo tópicos sensíveis e tarefas técnicas obscuras).
- Um comentarista observa que o GPT‑4 também se comporta de forma estranha com o glitch token, substituindo palavras não relacionadas e dando explicações forçadas.
Meta: UX e tangentes de desempenho
- Várias observações criticam ou defendem a velocidade da API do GPT‑4 e os limites de contexto, levando a um subfio acalorado sobre limites de tokens e acesso.
- Leitores reclamam do fundo semelhante a enxaqueca do blog; o autor depois o remove.