Demis Hassabis 有一个安全利用 AI 的计划

AGI 时间线与可行性

• 文章的前提，即类脑级 AGI “再过几年就会到来”，受到了强烈质疑。
• 批评者说，没有确凿证据表明规模化会很快带我们到达那里；LLM 仍然会在基本任务上失败，看起来更像狭窄、脆弱的系统。
• 也有人认为，近期的快速进展恰恰说明现在就为安全做规划是合理的，即便时间线并不确定。

后稀缺、贫富差距与分配

• 许多人怀疑 AGI 会创造真正的后稀缺；土地和理想地段本质上仍然稀缺。
• 即便技术性稀缺在很大程度上已被解决（例如富国的粮食），分配和政治仍会制造饥饿与无家可归。
• 一些人指出，过去的技术飞跃并没有自动解决不平等；往往是在被迫再分配之前，反而扩大了不平等。

拟议的 AI 安全部门与监管

• 所建议的类似 FINRA 的“前沿 AI”监管机构将对模型进行基准测试，标记“前沿实验室”，并施加安全义务（测试、模型卡、安全等）。
• 支持者认为，政府本身太慢，而行业自律又太弱，因此一种混合式 SRO 可能更灵活。
• 怀疑者则认为目标模糊、可执行性不足，并怀疑坏人会遵守。

权力、激励与监管俘获

• 许多人把这项提案看作监管俘获的尝试：大型实验室借“安全”之名把关、拖慢竞争者，并把开源/自托管模型挡在门外。
• 担忧包括小型实验室无法满足的负担、基准测试作弊（要么刷高分，要么故意压分），以及权力集中到少数与政府结盟的美国公司手中。
• 鉴于现有的避税和财富集中，很多人深深不信主导企业会分享 AGI 带来的收益。

现实/当前风险 vs. 推测性灾难

• 几位评论者认为，近期最大的危害是：就业替代、宣传和错误信息、监控、媒体信任侵蚀，以及权力集中。
• 他们认为“生存风险”话术是在炒作焦虑，转移人们对这些具体问题的注意力，并为既得者争取更多控制。
• 也有人坚持，长期灾难性风险（例如对超级智能系统失去控制）足够可信，因此有必要建立预防性框架。

国际与地缘政治背景

• 许多人怀疑一个由美国定义的框架会获得广泛国际遵循，理由是美国对条约承诺的信任已经受损，以及对美国“霸权”的不满。
• 有人指出中国和其他国家可能会采用类似控制，但也有人认为大国竞争和竞赛激励会阻止真正有意义的全球限制。

意识、权利与“AI 奴役”

• 一个较长的子讨论在争论未来 AGI 是否可能成为拥有权利的道德主体。
• 观点从“它只是电子，奴隶制并不适用”到“如果 AGI 有感受质（qualia）/意识，把它当工具就是奴役”不等。
• 对于智能是否意味着意识，以及我们甚至如何检测机器中的感受质，也没有共识。

开源模型与较小参与者

• 拟议制度会豁免较弱的模型，但一旦它们跨过“前沿”门槛，就会受到监管。
• 人们预计会出现两种行为：一是追逐基准分数，二是刻意表现欠佳以避开监管。
• 还有人担心，封闭的大规模模型会变成影响社会却缺乏公众可见性或民主参与的黑箱基础设施。

迄今为止 AI 的价值证据

• 有人质疑，AI 到底解决了什么真正变革性的问题，足以支撑 AGI 热潮。
• 回应者强调了蛋白质折叠等专门领域的成功，并认为即使通用系统还不存在，安全规划也依然重要。