比较人类、GPT-4 和 GPT-4V 在抽象与推理任务上的表现

原文 ↗ Hacker News 讨论 ↗

一篇新论文将 GPT‑4 及其多模态变体与人类在抽象视觉推理任务上的表现进行比较，发现两种模型都未达到人类水平的抽象能力，这再次引发了关于大型语言模型究竟能否真正“推理”、还是只是高级模式匹配器的争论。评论者深入讨论了研究方法，尤其是将 Mechanical Turk 工作者作为人类基线的做法，并指出尽管 GPT‑4 在许多文本任务上表现强劲，但在空间和基于网格的问题上仍然吃力。讨论进一步扩展到具身性、多模态训练，以及当前基于 transformer 的系统究竟是通往通用智能的一条足够路径，还是仅仅是更大 AI 架构中的一个强力组件。

LLM 能推理，还是只是在做模式匹配？

  • 一派认为，LLM 只是对文本进行下一个 token 预测，缺乏对外部系统的内部模型，因此不能真正推理——只是复述数据中见过的模式。
  • 另一派反驳说，这一点并未被证明；推理本身也许就是一种模式利用，而复杂行为可以在没有被明确“设计进去”的情况下涌现出来。
  • 神经网络作为通用近似器被拿来论证：原则上，如果推理能被表示在 transformer 的函数类中，那么它就可能从中涌现。
  • 一个逻辑序列例子显示 GPT-3.5 给出了自相矛盾的答案，而 GPT-4 答对了，这既被用来证明其局限，也被用来证明其进步迅速。

表征、抽象与具身性

  • 一个反复出现的主题是：当前模型运行在 token/embedding 空间中，而不是扎根于真实的物理或空间现实。
  • 一些评论者认为，稳健的抽象需要能够“模拟”问题领域，且不同任务可能需要不同的内部空间。
  • 另一些人则指向多模态工作（视觉 + 语言）以及内部 LLM 表征可与视觉编码器对齐的发现，认为部分扎根化其实已经在发生。
  • 空间/网格任务（如 ConceptARC）被认为对文本训练系统尤其困难，类似于刚获得视力的人在理解视觉形状时的挣扎。

评估设计与人类基线

  • 有人质疑论文将 Mechanical Turk 的“master workers”用作人类基准，指出 MTurk 的质量问题、工人可能使用 LLM，以及缺乏清晰的方差数据。
  • 也有人回应说，过滤低投入或机器人式工人是标准且必要的，而核心结果——人类约 90%，GPT-4 约 33%——仍然具有参考价值。
  • 还有人担心这些任务把抽象能力与狭义的视觉空间推理混在一起，而且用矩阵编码的网格与人类视觉感知并不能直接比较。

提示、工具与复合系统

  • 多位评论者询问，链式思维提示、工具使用或更好的提示格式是否会显著提高分数。
  • 一些人认为，更相关的问题不是“裸 LLM 能否推理？”，而是把 LLM 放进带有记忆、工具和传感器的 agentic 循环后是否能够推理。

实用性、炒作与未来方向

  • 几位评论者区分了 AGI 级推理与当前实用性：即使在抽象基准上表现不佳，LLM 也已经能在某些任务上超过许多众包工人。
  • 怀疑者把 LLM 热潮看作类似加密货币狂热；另一些人则强调，它们已经具有经济价值，并且在与代码、搜索或机器人结合时还在快速改进。