我很难相信 AI 研发是富有巧思的
人们对“大语言模型能否真正富有巧思地、以自主方式进行研究与开发”这一说法的怀疑正在升温,而不是把它们仅仅看作对既有工作的高明模式匹配。评论者将 LLM 描述为在苦力工作、代码搭建、文献综述,乃至某些数学证明方面的强力加速器,但在判断力、系统级设计,以及在缺少大量人类搭建的“harness”和监督时产生真正新颖想法方面,仍然持续薄弱。也有人反驳说,内部前沿模型、工具使用和代理蜂群已经在专门领域突破了这些限制,说明即使当前系统常常“只见树木不见森林”,规模和更好的训练仍可能不断扩展其能力。
当前 LLM 的感知能力与局限
- 许多人把 LLM 视为强大的苦力型助手:用于文献综述、实验搭建、诊断、可视化、代码和文档编写。
- 它们常被描述为“知识丰富但判断力低”——适合例行任务,但在大局推理和优先级排序上较弱。
- 一些人指出,这些模型会让非领域专家印象深刻,但在领域专家看来却显得浅薄或容易出错,这呼应了“Gell-Mann 健忘症”的动态。
自主代理与 harnesses
- 用户报告说,把代理“放任自流”去处理开放式研发问题,效果很差。
- 有效系统依赖复杂的 harness:由许多专门子代理组成的 DAG、精心分阶段的任务,以及严格的人类监督。
- 代理蜂群可以并行探索许多想法,但边际收益递减,而且需要大量算力和工程投入。
创造力、新颖性与“随机鹦鹉”之争
- 一方认为 LLM 只是在重组已有文本,产出平庸、平均的结果,无法实现“纯粹的创造力”。
- 另一方反驳说,人类创造力大多也只是重组;模型仍然能产出对人类而言新颖的点子(例如笑话、名字、研究技巧)。
- 还有一些人指出,所谓“新颖”通常是在人工仔细约束风格、语境或跨领域映射时才会出现。
数学突破与证明搜索
- 近期由 LLM 协助完成的证明(例如数论和复杂性领域的重要结果)是争论的核心。
- 支持者认为,这些结果展示了真正的高层问题解决能力,而不是天真的蛮力;他们把它比作数千名博士水平的数学家在探索想法。
- 怀疑者则指出工具使用很重(Lean、搜索循环)、算力巨大、每次尝试的成功率很低,而且证明不够优雅或不透明。有些人担心进步会在缺乏理解的情况下发生。
专业知识、上下文与判断力
- 评论者强调了在跟踪系统状态、基础逻辑、设计美感以及架构层面“视野”方面的失败。
- 当任务定义明确、可客观验证,并且训练数据中表示充分时,LLM 表现最好(例如标准编程、部分 ML、部分数学)。
- 它们在模糊目标、细微权衡,或“不能只见树木不见森林”而又缺乏清晰训练信号的任务上表现较差。
规模化、内部模型与未来轨迹
- 有些人相信前沿实验室的内部模型已经远远领先,并且正在推动快速的自主研发;另一些人则认为这类说法只是未经证实的公关。
- 人们对我们是否接近天花板(规模收益递减、持续存在定性差距)还是仍处于指数式增长的早期阶段存在分歧。
- 一些人把进展概括为“苦涩教训”:在 AI 研发中,蛮力式规模搜索和 RL 可能比人类巧思更重要,即使模型本身仍然算不上富有巧思。