OpenAI 研究人员在 CEO 被罢免前警告董事会 AI 突破
关于 OpenAI 研究人员向董事会警告一个名为“Q*”的突破性 AI 系统的报道——据称它能解决小学数学题并接近通用人工智能（AGI）——引发了对这一说法本身以及 OpenAI 治理结构的激烈审视。评论者讨论这些能力是否真的超越当前大语言模型，还是被炒作夸大，并围绕数学、逻辑和推理的技术局限展开争论，同时推测 Q* 可能涉及强化学习或基于搜索的方法。反应背后是一种更大的张力：一方面是 AI 安全担忧、对 AGI 驱动灾难的恐惧；另一方面则是怀疑当今系统离那个门槛还很远，更多只是强大但狭窄的“自动补全”引擎。
Q* 可能是什么
- 文章声称，OpenAI 内部有一个名为“Q*”的项目，借助大量算力可以解决小学数学题，一些研究人员据称因此警告董事会它可能很危险。
- 许多评论者表面上觉得“解小学数学题”并不起眼，但指出它是“如何做到的”可能非常关键（是真正推理还是死记硬背）。
- 不少人推测 Q* 指的是 RL 中的“Q-learning”，可能与搜索（A*/MCTS）和 transformer 结合；也有人认为它可能是建立在 LLM 之上的通用规划或推理层。
这真的引发了董事会政变吗？
- 一种说法是：研究人员绕过了 Sam Altman，向董事会发出警告信，称 Q* 接近 AGI，董事会惊慌之下以“缺乏坦诚”为由解雇了他。
- 另一种说法是：这被夸大了，或者只是营销；董事会主要认为 Altman 不可信，或者治理问题才是核心。
- 线程中引用的后续报道提到，一位消息源否认有任何此类信件促成了解雇，而 Reuters 的消息源则声称确有其事。评论者指出，这一点仍未厘清。
数学、逻辑与 LLM 的局限
- 很长的子线程展示了 GPT-4 和其他模型能解决一些逻辑与数学谜题，但往往会在细微改动、陷阱题或新的表述上失败。
- 参与者区分了：
- 基础算术与更深层的数学推理。
- 对熟悉问题的模式匹配与真正的泛化。
- 单次作答与带回溯和检查的多步推理。
- 不少人指出，当允许链式思考、工具（Python、定理证明器）或多次 rollout 时，LLM 会明显进步。
“AGI” 的含义以及我们是否接近
- 定义各不相同：OpenAI 自己的定义是“在大多数经济价值工作上超越人类的系统”；其他人则强调递归自我改进或发现新的物理/数学。
- 有人认为 GPT-4 实际上已经是一种“通用智能”；也有人说它在许多孩子都觉得简单的任务上仍会失败，且无法可靠处理隐藏步骤推理。
- 一个反复出现的主题是：随着能力提升，人们会不断移动 AGI 的门槛。
风险、炒作与治理
- 有人认为，任何稳健的新推理算法都可能加速自我改进型 AI，从而构成严重安全问题；也有人认为当下的 AGI 末日叙事更像是“宗教”或营销。
- 对匿名消息源的 AGI 说法以及 OpenAI 的末日式表述，存在很强的怀疑；但同时也有人承认，更强的长期规划能力和“超人级说服力”可能会对社会造成不稳定。
- 许多人批评 OpenAI 的治理结构：一个小型非营利董事会能够因解释不清的安全顾虑而“掀翻”一家估值 80B 美元的公司，被认为不可持续。