停止将中间 token 拟人化为推理/思维轨迹

“思维轨迹”和 CoT 的本质

• 许多人认为中间 token（“aha”、“等等，那不对”、CoT）并不是真正的想法或内部状态，只是基于前文条件化的下一个 token 预测。
• 有人把它们看作“草稿”或“胡言乱语”，其作用是填充上下文，以便 attention 能检索到更好的模式；也有人称之为修辞技巧，或“黑色电影独白”，与角色对白并无区别。
• 少数观点认为，或许存在一种松散但真实的语义模式：例如，“aha”常常先于答案朝更好的方向转变出现，因此生成它可能会把后续 token 推向更有用的模式。

对 LLM 进行拟人化

• 许多发帖者认为拟人化是个严重问题：它会误导非专家，助长“AI 精神病”，并让法官和政策制定者误解模型实际在做什么。
• 也有人说，轻度拟人化很正常，也很有趣（就像数据库或打印机一样），并不意味着真的相信机器有心智。
• 有人担心厂商会刻意选择人类化术语（“推理”、“代理”、“伴侣”）来夸大能力。
• 反方观点：LLM 会表现出类似人类的交互模式（在鼓励下反应更好），忽视这种行为在实践上可能是不理性的，即便这只是训练数据的效应。

暴露推理 token 的有用性与风险

• 一些用户发现这些轨迹在长任务中有助于及早发现误解。
• 另一些人则认为用户应当大体忽略这些轨迹；它们可能是具有说服力的“诡辩”，让错误答案显得可信。
• 如果这些轨迹并不忠实于底层计算，那么它们就不是好的审计材料，而且很容易被误解为真实的“意图”。

意识、智能与类比之争

• 关于 LLM 是否“思考”、“理解”或是否可能“有意识”，存在大量来回争论，但没有共识。
• 一方强调这是机械的、固定权重的系统，缺乏人类式记忆、具身性和生物复杂性；语言不等于思想。
• 另一方认为，我们并没有关于意识的精确定义，而且我们知道人类内省并不可靠，因此断言其非意识过于自信。
• 类比也充满争议：批评者把“LLM 会思考”比作把灯泡称为“小恒星”；另一些人则说，灯泡和恒星都“产生光”，而人类和 LLM 也都以一种实用意义上“产生思想”。

术语、论文风格与批评

• 有几位不喜欢命令式、带“标题党”风格的标题（“Stop doing X”），觉得像博客文章风格。
• 也有人指出这明确是一篇立场论文，因此强烈的规范性 framing 是预期之中的。
• 有些人批评论文的论证前后不一致，或过于轻视分布式语义。
• 对于如果不是推理，那“thinking traces”到底是什么，也存在困惑与争论；有人建议称之为“学习到的 prompt 增强”或纯粹由优化驱动的 token 模式。

工程与实践层面的影响

• 发帖者强调，应构建能记录输入、模型/版本、工具调用和输出的系统，以便行为可以重放，而不是依赖模型自我解释。
• 大体上大家都同意，模型经常通过不透明的过程得出好结论，并且把中间文本过度解读为真正推理是不安全且具有误导性的。