LLM 中的“涌现”能力其实是逐渐且可预测地发展的——研究

“涌现”的含义

• 对“涌现”究竟意味着什么存在强烈分歧。
• 在机器学习中，一篇有影响力的论文将涌现能力定义为：在小模型中不存在、却在更大模型中突然出现，并且无法通过外推小模型来预测的行为。
• 也有人认为这误用了一个更宽泛的科学/哲学术语；在那个语境里，涌现指的是由更简单部分形成的更高层级属性，而不一定意味着突然跃迁。
• 多条评论强调一词多义：词语在不同领域里确实可能有不同含义，但这也会带来混淆和不恰当的争论。

测量与指标

• 所讨论研究的核心主张是：当使用更平滑的指标（例如部分得分、编辑距离）而不是二元的通过/失败时，许多所谓的“涌现能力”会消失。
• 参与者指出，任何带阈值的指标（例如“所有测试项都正确”）都会自然地产生看似的相变。
• 有人同意连续型指标更适合理解渐进式提升，以及对进展进行外推。
• 也有人警告，若任务要求绝对精确，部分得分可能是一个很差的代理指标（例如现实应用中的算术）。

把算术作为推理测试

• 一派认为算术是一个糟糕或“毫无意义”的基准，因为优秀的 LLM 往往是通过编写并运行代码来成功，而不是在内部直接做数学。
• 另一派为算术辩护，认为它是经典的结构化任务，也是学习形式规则的代理；如果模型真的内化了算术，这将表明其具备很强的通用推理能力。
• 还有例子显示，LLM 在基本的反转、排序和时间推理上会失败，除非依赖外部工具或非常谨慎的提示——这被视为算法能力有限以及缺乏内部状态的证据。

能力、局限与架构

• 关于 LLM 的某些出人意料的能力究竟是否真的“不可预测”，还是仅仅反映了我们对训练动力学理解不足，存在争论。
• 有人认为规模扩大必然带来更多能力；也有人强调架构、数据和优化同样重要，因此现在就谈“涌现”还为时过早。
• 一些人把 LLM 描述为“似然引擎”。关于这是否会从根本上限制其智能，或是否与人类依赖似然性的方式相似、只是通过科学方法等工具得以缓解，意见并不一致。

预测进展与炒作

• 许多人认为这项研究有价值：更平滑的指标表明能力增长更连续，从而更容易预测模型何时会跨过可用性门槛。
• 有人担心早先“突然涌现”的叙事助长了炒作，并可能推动 AI 泡沫；这项工作被视为一种纠偏。
• 也有人指出，即使在修订后的指标下，仍有少数任务看起来是涌现的，并提醒不要过度解读单篇论文。