Claude Code 的“扩展思考”输出中的文本
“扩展思考”究竟是什么
- 许多评论认为,可见的“reasoning_summary”本身只是隐藏的 CoT token 的摘要,而不是逐 token 的原始轨迹。
- 有人认为,这些隐藏轨迹也只是更多文本生成,而不是内部激活或“真正思考”的透明窗口。
- 还有人指出,研究表明即使是原始 CoT,也往往并不忠实反映底层计算。
对摘要化与隐藏 CoT 的动机
- 普遍认为的主要动机:防蒸馏和 IP 保护。完整 CoT 会让竞争对手更容易复制前沿模型“如何”解决问题。
- 另外还常被提到:
- 降低泄露不一致或“精神失常”式内部文本所带来的法律责任和公关风险。
- 安全性:防止用户编辑 CoT、注入指令或操纵反馈信号。
- 用户体验:原始 CoT 可能很长、很怪异或难以辨认;摘要更快扫读。
可见推理的有用性与局限性
- 一些用户觉得完整 CoT 对调试非常有用,能在过程中发现错误假设,并衡量模型随时间的漂移。
- 另一些人说,他们很少阅读完整链路;日常查询里,简短理由或根本不显示 CoT 都可以。
- 还有几条评论指出,LLM 的“思考”往往看起来像事后编造、噪声很大,或带有某种行话(“neuralese”),因此其解释价值有限。
安全、可靠性与威胁模型
- 担忧在于:隐藏推理再加上工具调用,可能使 prompt injection 导致信息外泄,或产生用户无法审计的“秘密”操作。
- 反方观点:据称多数大型供应商在某些情况下会从上下文中剥离或丢弃推理 token,而且工具调用本身仍然必须以某种方式显露。
- 线程中并不清楚哪些供应商在何时保留哪些思考 token,以及加密 blob 如何被复用。
商业模式、护城河与开放性
- 许多人认为,隐藏 CoT 是围绕专有模型构建经济护城河的一部分,否则这些模型并没有真正的“护城河”。
- 另一些人则认为,这只是标准的 IP 保护,类似闭源软件或商业秘密。
- 也有人强烈偏好开放模型或中国模型,因为它们会暴露原始推理;他们称这种不透明的“黑箱”助手对社会有害,也不利于严肃工作。