GPT-3.5 在想到 useRalativeImagePath 太多时会崩溃
GPT‑3.5 中有一个奇怪的 bug：每当它遇到罕见的 token `useRalativeImagePath` 时，就会报错或表现得前后不一，这很可能与分词器及训练数据如何处理某些“故障 token”有关。评论者从各种角度分析了可能原因——包括嵌入异常和数值不稳定、后处理过滤器以及黑名单机制——并指出尽管使用相同的分词器，GPT‑4 似乎更稳健。这个事件也引发了对数据质量、对抗性输入、AI 安全“杀手词”，以及大语言模型在真实应用中可靠性与性能的更广泛反思。
故障 token、分词，以及 useRalativeImagePath
- 几位评论者指出，
useRalativeImagePath是 GPT‑3.5/4 的cl100k_base分词器中一个已知的“故障 token”。 - 一个假设是：这类 token 在分词器的源语料中极其常见（例如 Reddit 用户名、带有拼写错误的 Katalon XML 选项名），但在模型训练前又大多被移除，导致其嵌入没有任何有意义的语义。
- 有人链接了先前枚举故障 token 的工作，并指出词表大约有 10 万个 token，而不是 2^16。
- 空白会影响分词：只有在
useRalativeImagePath前面没有空格时，才会出现这个故障。
为什么 GPT-3.5 会“崩溃”，以及 LLM 如何生成 token
- 多位评论者强调，模型总是通过 logits + softmax 从固定词表中输出有效 token。
- 一种观点是：这种类似崩溃的行为大概不是“无效 token”，而是下游问题——例如这些 token 的嵌入条件很差，导致推理时数值不稳定（NaN），或者 OpenAI 服务栈中的 bug/过滤器。
- 其他人提到特殊 token 和后处理层可能也是错误来源，但指出特殊 token 仍然源自模型本身。
- 有些人推测，这个 token 可能在早先的“不可言说 token”事件后被列入黑名单。这被表述为推测。
安全性、暗语，以及“杀手词”
- 一些用户顺着“故意训练进‘杀手词’或‘AI 安全词’，让模型关闭”的想法调侃，但也有人认为这会成为不安全的后门，而且它作用于分词器层面，而不是核心“智能”。
- 故障 token 被比作 shibboleths：人类很容易复述、却会让 LLM 失手的短语，可能有助于区分机器人和人类。
训练数据来源与偏差
- Reddit（包括 /r/counting）被讨论为可能的训练数据来源，并有人估算其规模，评论说网络上的大量内容都很重复。
- 有人推测，早期 ChatGPT 的政治偏见可能源于大量使用 Reddit。
模型行为、审查与可靠性
- 用户分享了 GPT‑3.5/4 在某些提示下失败或重置的轶事（包括敏感话题和晦涩技术任务）。
- 一位评论者指出，GPT‑4 在处理这个故障 token 时也会表现得很奇怪，会用无关词语替换，并给出牵强的解释。
元话题：UX 与性能支线讨论
- 几条评论批评或为 GPT‑4 的 API 速度和上下文限制辩护，引发了一段关于 token 限制和访问权限的激烈子讨论。
- 读者抱怨这篇博客的背景像偏头痛一样刺眼；作者后来移除了它。