“下一个 token 预测器”是 LLM 的错误心智模型
关于大型语言模型是否“只是下一个 token 预测器”，人们存在争议，因为这个说法既在技术上准确，又极具误导性。评论者指出，transformer 的训练目标确实是预测文本中的下一个 token，但 RLHF、工具使用和智能体框架等后训练技术，会把这种基本机制转化为一种面向目标的系统，其行为不能仅仅理解为复制训练数据。另一些人则反驳说，强调超出下一个 token 预测之外的任何东西，都可能夸大 LLM 的能力；认识到它们概率化、机械化的本质，对于判断其局限与潜在风险至关重要。
“下一个 token 预测器”这一标签的准确性
- 许多人认为，LLM 字面上 就是下一个 token 概率模型：它们接收一个 token 序列，并输出下一个 token 的分布。
- 也有人说，这在技术上是对的，但具有误导性的简化，类似于把人称为“化学物质的集合”，或者把喷气式飞机称为“只是一台旋转机器”。
- 还有一些人把“下一个 token 预测器”和“随机鹦鹉”看作是用来贬低 LLM 能力与风险的口号。
预训练 vs RLHF/RLVR 以及后训练
- 几位评论者明确区分了以下几者：
- 预训练：针对真实文本进行经典的监督式下一个 token 预测。
- 使用 RLHF/RLVR 的后训练：不存在“正确的下一个 token”；相反，整段序列会由奖励模型打分，参数被更新以提高奖励。
- 一派认为：在大量 RL 之后，模型更应被视为一个 策略，或者“面向目标 / 结果导向的系统”，而不是纯粹的下一个 token 预测器。
- 另一派则认为：尽管目标函数改变了，但架构和接口仍然归结为下一个 token 的分布，因此这个标签依然恰当。
预测 vs 决策 / 优化
- 争论集中在“预测”这个词上：有人坚持，预测需要与外部真实值进行比对；而 RL 则是在奖励上进行优化。
- 也有人认为，选择使期望奖励最大化的 token 仍然是一种预测（对结果或奖励的预测），只是目标不同。
- 国际象棋类比被大量讨论：引擎是在“预测下一步”，还是在“选择一个能赢的走法”？
能力、局限与涌现
- 一方认为：规模化的下一个 token 预测 + 文本模式压缩，自然会产生通用能力，包括类似推理的行为。
- 另一方认为：模型仍然经常出错，无法可靠地编码或推理，也并不“理解”正确性；它们优化的是模式，而不是真理。
- 人们也注意到涌现性质，但有人警告这并不意味着能力无上限，或具备 AGI 式能力。
替代心智模型
- 提出的比喻包括：“下一个 embedding / 下一个意义预测器”、“模式匹配器”、“策略”、“结果导向器”、“受信息约束的骰子”、“围绕预测器构建的智能体系统”。
- 共识趋势是：多种抽象都很有用；“下一个 token 预测器”是有效的，但并不完整，尤其对于现代的智能体和经 RL 调优的系统而言。
元话题：政治、炒作与写作风格
- 有人认为试图超越“下一个 token 预测器”是在炒作，目的是抬高 AI 的地位；也有人认为把它简单化是在回避风险。
- 一些评论者抱怨文章读起来像“AI 风格”的行文，并讨论 AI 辅助写作是否会削弱可信度。