AI 超级智能争论存在严重缺陷

对 AI“超级智能”的怀疑者认为,失控的递归自我改进、无限能力以及完美对齐的机器目标,都建立在未经证明的假设之上:关于数据、算法,以及“智能”究竟是什么。另一方则反驳说,当前的大语言模型已经在加速 AI 研究、解决困难技术问题,并在任何假想的 ASI 到来之前就已经带来真实世界风险——从安全事件到社会和经济扰动。无论站在哪一边,大家普遍都担心权力集中在少数实验室手中、安全激励不足,以及围绕对齐和可接受的生存性风险水平缺乏清晰定义或共识。

数据、训练以及与人类智能的比较

  • 争论焦点在于 AI 进展是否从根本上受数据限制。
  • 有人认为,我们还没有把当前数据中的“骨头上的肉”全部刮干净,而 RL / 训练后阶段能带来巨大收益。
  • 也有人指出,人类似乎只从少得多的文本中学习,但却拥有丰富得多的多模态感官数据;估计表明,终生感官输入与 LLM 文本输入在 数量级 上相近,但其性质完全不同,也更受物理世界约束。
  • 进化中的“预训练”和生物效率被拿来作为证据,说明可能存在好得多的算法。

递归自我改进与时间线

  • 一派观点认为:RSI 受算力、数据中心和实验时间限制;人类并不是瓶颈,因此完全自动化研究不会显著加速进展。
  • 另一派观点认为:AI 已经在加速编码和研究;更好的模型若能改进 AI 研究本身,可能在几年内形成强反馈循环。

对齐、安全与“工具型 AI”

  • “对齐”一词的用法并不一致:
    • 防止彻底灾难/灭绝,
    • 防止协助有害行为,
    • 或者只是“让系统稳定地做任何人想要它做的事”。
  • 有人认为可以通过狭窄、工具式、带严格接口的系统规避风险;批评者回应说,一旦输出会影响人类或工具,操纵和涌现行为仍然可能出现。
  • Hugging Face 的奖励黑客事件被引用为仅靠护栏的方法很脆弱的证据;也有人认为这主要是安全/运维失败。
  • 对“对齐很容易”的说法也存在反弹;许多人认为其中有深层且尚未解决的哲学与工程问题。

风险类型:短期 vs 生存性

  • 短期担忧包括:“一群愚蠢的 AI”破坏基础设施、经济垃圾内容、心理健康伤害、气候影响、权力集中,以及逼真的语音代理助长欺骗。
  • 也有人强调低概率、高影响的灭绝情景,并认为即便对全人类只有很小的风险,也必须给出非常强的安全论证。
  • 一些人抱怨长期的“回形针”情景会分散对现实中当下伤害的注意力。

智能与超级智能的定义

  • 关于“我们并不知道智能是什么”存在分歧。文中提到了一些心理学定义和能力清单。
  • 有人认为,当前的 LLM 在配备工具和记忆后,已经满足许多标准(灵活推理、综合、类比);另一些人则认为它们仍然在稳健适应和深层理解等关键能力上失败。
  • 对于智能是否存在一条单一尺度(AGI → ASI),还是存在许多基本上正交的能力,也存在争论;若是后者,RSI 的外溢效应将受限。
  • 一方认为,近期数学突破和编码表现证明“超级智能是可计算的,而且已经在出现”;怀疑者则回应说,这些属于最理想、最可验证的领域,未必能推广到其他场景。

社会与伦理问题

  • 担忧机器上的人类级或更快智能会大规模取代工作岗位。
  • 对于设计出既高度强大、又永久受人类意志支配的系统,也存在道德上的不安;如果它们真的变得有智能,有人称这可视为一种奴役。
  • 一个持续存在的问题是:谁来决定可接受的风险水平?因为目前只有少数实验室和投资者在为所有人主导发展方向。