政府应放慢前沿 AI 发展吗?Jacob Coxon 和 Robin Hanson 辩论 [视频]

关于政府是否应放慢或叫停“前沿”AI 发展,意见分歧很大:一方认为存在生存性和社会性风险,另一方则认为竞争压力使任何有意义的暂停都不现实。评论者围绕可执行性展开争论——从监测巨大的能源使用和 GPU 供应链,到美中协议——同时也讨论替代方案,例如对损害施加严格责任、只允许使用可再生能源的数据中心,以及将算力从少数主导公司手中重新分配出去。其下贯穿着更宏观的权力与不平等之争:谁将控制超强系统,它们会如何重塑劳动和政治,以及现有资本主义结构是否能应对这一转变。

放慢前沿 AI 的可行性

  • 许多人认为,由于大国竞争以及一种信念——“谁先获得超人类 AI,谁就会获得决定性优势”——有意义的放慢在政治上不可能实现,因此暂停或禁令都不可信。
  • 另一些人则认为,如今放慢在技术上是可行的,因为前沿训练需要巨量芯片、太瓦时级电力以及大型数据中心,而这些都可以被监测,且集中在少数国家。
  • 未来的可行性则受到质疑:算法和效率提升可能带来“车库级可训练”的强大系统,一旦如此,执法就几乎不可能了。
  • 有人认为 AI 不扩散机制(尤其是美中之间)是可行的;也有人指出核时代的结果好坏参半,并怀疑验证与合规。

监管、责任与越权

  • 一派主张对更强大的 AGI 进行强监管甚至直接叫停,理由是存在生存性风险、错误不可逆,以及当损害可能达到文明尺度时,事后追责并不足够。
  • 另一些人更偏好责任机制:当用户指使非法行为时由用户承担责任;当系统超出指令行动时由提供方承担责任。他们认为这在很大程度上符合现行法律,并且无需新的重监管也能约束实验室。
  • 有人担心“AI 监管者”会逐步扩张到大多数软件/硬件,理由是成本下降和强大模型的扩散。
  • 具体提案包括:要求 AI 数据中心只能使用可再生能源、设定算力/能源上限,以及由 AI 赢家资助全球就业保险;但这些提案的可行性和政治意愿都被广泛怀疑。

对齐、价值与控制

  • 有人认为当前的对齐措施(安全过滤、访问控制)表明对齐是可处理的,并且由于对组织有经济价值,未来会继续改善。
  • 另一些人则认为“对齐”正被大实验室当作监管俘获和中心化的借口,把它们变成经济活动的收费站。
  • 关于智能与对齐是否相关的争论:
    • 一方强调目标与智能之间的“正交性”;更聪明但未对齐的系统会更危险。
    • 另一方认为更强大的系统也许更能识别不理性的目标,而且当前模型似乎会随着时间变得更对齐。
  • 还有人指出,人类和官僚体系本身就已经是“未对齐的 AI”,而我们甚至还没有为自己的机构解决对齐问题。

权力、经济与所有权

  • 人们强烈担心 AI 能力集中在少数公司和国家手中;提案包括重新分配 GPU、推动本地模型,以及将个人对 AI 的控制视为“与自由对齐”的核心。
  • 也有人认为本地推理效率低下,云端模型终将占主导地位,不过也有人提出对中心化控制的隐私与主权异议。
  • 更广泛的政治批评也浮现出来:对不平等的担忧、当劳动价值下降时民主权力被侵蚀的担忧,以及关于社会主义/共产主义的呼声与对市场资本主义的 دفاع。