大型语言模型是神经符号推理器

原文 ↗ Hacker News 讨论 ↗

对“神经符号推理器”这一说法的看法

  • 一些人认为这篇论文只是确认了一个显而易见的事实：LLM 可以在文本上实现类似符号的操作，但这并不让人觉得是很大的进步。
  • 另一些人认为，仍然有必要把这些能力形式化并加以衡量，尤其是通过交互式小说（IF）游戏，因为其中的动作和世界状态都用自然语言表示。
  • 对于“推理器”究竟是什么意思也存在争论；一些人认为这个标题修辞上很强，但没有清晰定义。

神经网络只是查找表吗？

  • 一条很长的子讨论认为，任何有限的神经网络都是一个数值函数，因此等价于一个巨大的查找表；所以它“不会思考”。
  • 反驳观点包括：
    • 如果接受决定论，那么同样的推理也会把人类和宇宙都变成查找表；这样一来，“不会思考”就成了一个没什么帮助的定义。
    • 对任何有限程序来说，查找表等价在数学上确实成立，但这并不能说明泛化、压缩和插值是如何工作的。
    • 循环/有状态网络、任意精度，以及与停机问题的联系都显示出细微之处：有些表会是无限的，或者不可计算。
  • 对物理学在根本上是否可计算也有分歧；一些人引用贝肯斯坦界限和有限信息量，另一些人则认为连续的、实数值的模型难以完全离散化。

人类与机器：思考、具身性与意识

  • 一方坚持认为，人类“即使在理论上”也不能被还原成表，因为生物学、具身性和主观体验都很重要；软件“只是数字”。
  • 另一些人认为，人类是由粒子/场构成的机械系统；原则上所有输入/输出都可以用数值描述，因此拒绝查找表等价是不一致的。
  • 具身认知的支持者强调运动、感觉-运动循环、可塑性以及在共享世界中的目标；LLM 只是压缩并重放文本，缺乏意图或对世界因果关系的扎根。
  • 反对者则认为，历史上针对机械论心智也曾提出过类似的“神秘主义”论点，并认为没有理由相信硅不能最终支持心智或能动性。

LLM 的推理能力与局限

  • 许多人同意，LLM 在多步或“多跳”推理上经常失败，除非给出 chain-of-thought 提示；错误会累积，并出现幻觉。
  • 一些人认为这说明它们并不真正推理，只是在重组训练中的模式；Advent of Code 和微妙的并发 bug 被拿来作为它们在未见问题上的失败例子。
  • 另一些人反驳说，chain-of-thought 本来就是人类推理的方式，而自我批评或多智能体设置已经能提高可靠性。
  • 关于仅靠文本上的统计模式匹配能否产生真正的世界模型，还是只能近似语言分布，也存在争论。

把游戏作为推理基准

  • 论文在文本 IF 游戏上的成功被视为有希望，因为规则和状态都在自然语言中。
  • 多位评论者提出更难的测试：NetHack、Zork、复杂 roguelike，或 Diplomacy，这些任务中规划、探索和隐藏信息都很重要。
  • NetHack 引发了一场详细的旁支讨论：
    • 一些人声称，如果没有“剧透”（外部知识），由于机制不透明且随机性很强，它实际上无法被通关。
    • 另一些人指出，专家玩家有很高的胜率，并认为 RL 代理如果有足够多的运行次数，或许能在噪声中推断出有用机制。
  • 有一项被引用的工作使用 LLM 为 NetHack 中的 RL 代理提供内在奖励；另一个系统使用面向文件的文本接口，其中 GPT‑4 能够回溯并搜索，而 GPT‑3.5 则很吃力。

符号系统与混合方法

  • 一个项目将显式计算结构（lambda calculus、栈、队列）注入 LLM 内部，以便在潜在状态上获得更可靠、更像程序的推理。
  • 另一派则提到经典符号 AI，如 Cyc，它使用显式逻辑推理和一个手工/派生知识库，认为它“真的在推理”，而且不会产生幻觉。
  • 批评者质疑，既然训练成本和能耗都如此巨大，用神经网络去合成程序是否值得，尤其当最终产物只是一个传统程序时。
  • 支持者回应说，自动程序合成仍然可能比雇人更便宜、更具可扩展性，而且神经网络能让这类系统利用现有的 LLM 知识。

元话题：学习资源与术语

  • 有评论者询问有哪些好方法跟进 LLM 发展；其他人建议使用本站搜索来查找入门和教程内容。
  • 一些参与者强调，在物理、计算机科学和机器学习之间对“信息”“熵”“世界模型”等术语的宽松使用，会让这些争论变得混乱。