链式思维推理如何帮助神经网络进行计算

CoT 如何提升性能

• CoT 被描述为通过生成中间 token，给 transformers 提供“更多时间和空间”来进行计算。
• 一些评论者认为，这相当于把一个难题转化为一系列更简单、更局部的决策，而模型更容易处理这些决策。
• 另一些人则认为，主要效果是缩小了可能补全的空间：强制显式推理会让自相矛盾的胡说八道更不容易出现。

计算、记忆与上下文

• token 充当草稿纸 / 外部 RAM：中间结果被写入上下文并再次读取。
• 由于解码器在每个 token 上的深度是固定的，额外的 token 实际上增加了更多顺序计算步骤。
• 关于“每个 token 的成本恒定”存在争论：从架构上看深度是固定的，但在实践中，对更长上下文的注意力会更慢。
• 有人指出，模型缺乏持久的内部状态；所有“记忆”都存在于上下文中，所以无声思考（“先想 X 再做 Y”）往往会失败。

提示词、吸引子与失败模式

• 让模型偏向某个特定语义区域的提示词（例如逐步数学解答）可以强力引导输出。
• 先前对话和 RLHF 模式会像吸引子一样起作用；模型往往会回到早先的风格（例如项目符号列表、“However,”）。
• 约束补全过程空间的详细提示词，往往能帮助用户自己解决问题（橡皮鸭效应）。

CoT 的局限与算法复杂度

• 引用的形式化结果指出：只有当中间步骤的规模随输入大小增长时，CoT 才会有显著帮助；许多问题需要更高的深度。
• 实际上，模型可以处理简单的 O(n) 分解，但难以递归地分解为 O(n²) 个子步骤。
• 有人提到一些论文（pause tokens、Quiet-STaR），试图在不显式展示链式推理的情况下，将 CoT 式的“支撑性思考”内化或并行化。

人类推理、下一词争论与拟人化

• 一派坚持认为 LLM 只是“下一个 token 预测器”；另一派则认为，为了最小化损失，它们必须实现非平凡的内部算法。
• 几位评论者指出，人类也常常是“猜下一个想法”，然后再补写理由；严格推理更少见，而且通常需要外部检查。
• 有人担心“chain of thought”和“thinking”这类语言会拟人化并误导公众，相比之下，“intermediate token conditioning”之类更中性的术语更合适。
• 关于这些行为是否构成某种意识存在分歧；有人认为只是“随机鹦鹉”，也有人认为这是一种越来越像人类的模拟。

工具、界面与替代方案

• 建议包括多步骤工作流（计划 → 批判计划 → 执行）、树状思维分支、工具使用（代码、求解器）以及带可编辑历史记录的更好 UI。
• 有人认为未来的方法（logit-bias steering、Quiet-STaR）可能会让显式 CoT 提示大体变得不必要，因为“隐藏”的推理会被直接嵌入其中。