如果 AGI 根本不会到来呢？

原文 ↗ Hacker News 讨论 ↗

文章框架与前提

  • 多位评论者表示，这篇文章并没有真正探讨“如果 AGI 永远不会到来会怎样”，而只是论证 AGI 不太可能出现，却没有直说。
  • 也有人看到了金融层面的动机：在 AI 股票被炒高的时候，没人愿意“告诉孩子圣诞老人并不真实”。

什么是 AGI / 智能？

  • 对 AGI 是否已经到来存在分歧（例如，transformer 已经让广泛迁移成为可能），还是 AGI 必须包含意识、能动性或“类似灵魂”的属性。
  • 有人认为“通用智能”只是多种能力的集合；也有人认为，人类可能已经接近我们环境中有用智能的上限。
  • 人们对定义不断变化或含糊不清感到沮丧；有人称 AGI/ASI 之类的术语被用来回避批评。

大脑、硅与具身性

  • 一种观点认为：生物大脑证明了低功耗的通用智能是可能的，因此合成版本“最终”也应该可以。
  • 反对观点是：我们并不理解神经元或整个生物体（例如 C. elegans 模拟），所以“只要扩大算力”这种想法过于自大。
  • 争论焦点在于：真正的智能是否需要具身并与物理世界互动，还是说完整模拟在原则上就已经足够。
  • 少数人声称真正的智能/生命可能受到热力学或形而上学的限制；另一些人则认为这并不清楚，也不令人信服。

规模扩展、算法与极限

  • 有人断言，过去几十年并没有重大的 AI 突破，LLM 只是放大后的、效率低下的曲线拟合。
  • 也有人强烈反驳，指出 transformer、状态空间模型、残差连接、batch norm 以及测得的算法效率提升都是实质性进展。
  • 关于极限的担忧包括：硬件成本、消费级设备限制、数据耗尽，以及 AI 生成数据带来的“污染”。
  • 反方则称：“极限”一再被突破；经过筛选的合成数据和更新的网页抓取数据实际上可能会有帮助，而一些人把“模型崩溃”称为神话。

当前 LLM 的能力与缺口

  • 许多人认为 LLM 很令人印象深刻，但仍只是“随机鹦鹉”：它们擅长语言、编程辅助和基准测试（例如 NYT Connections），却缺乏可靠推理、自主性以及原地代码编辑能力。
  • 有人认为人类很多时候也只是在鹦鹉学舌；另一些人则强调，人类确实能够创造新概念（例如微积分、新流派），而 LLM 只是重组已有数据。

时间线、炒作与影响

  • 一些人预测，短期内会出现平台期或泡沫破裂（Nvidia、AI 初创公司），并将其与过去的技术炒作（如 VR）相比较。
  • 另一些人认为，进步和投资会继续，但 AGI 会逐渐出现，如果它会出现的话。
  • 有人说，即使 AGI 永远不会到来，当前的 AI 也已经很有用；也有人更担心的是滑向“无聊的平庸”和教育退化，而不是奇点。