AI 2040：A计划

暂停 AI 与治理

• 许多人怀疑，在“顶级人类天才”水平上，刻意促成美中暂停在政治或经济上是否现实；其中牵涉的金钱和战略优势太大。
• 一些人认为，任何暂停都会来自民粹主义对科技公司的反弹（工作、贫富不均、监控），而不是抽象的安全担忧。
• 另一些人警告说，把错误信息（例如夸大的用水量）当作战术盟友是危险且在道德上可疑的。

克制的历史先例

• 文中引用了若干例子：历史上的日本禁止枪支、Asilomar 对重组 DNA 的自我暂停、反对人类生殖系编辑的强规范、生物和热核武器限制，以及《生物武器公约》的部分成功。
• 怀疑者指出，这类制度存在漏洞（例如苏联生物武器项目），并质疑它们是否能扩展到广泛可获得的 AI。

开放式与中心化的 AI 控制

• 一派担心，严格监管会巩固政府和少数公司，增加威权滥用与监管俘获。
• 另一派担心，如果不对大型数据中心和芯片流动施加强约束，隐蔽或垄断性的项目会占主导地位并削弱公众。
• 大家支持思想和模型的开放，但在开放权重与安全/滥用风险之间存在张力（例如生物、网络安全）。

经济、劳动力与机器人预测

• 一些人认为 AI 代理已经能完成“博士水平”的任务，预测认知劳动乃至最终体力劳动会迅速被替代，机器人数量将大幅增长，失业率会很高。
• 另一些人认为现实世界自动化要难得多；包裹递送机器人和无人机仍受限制，95% 的任务覆盖率或到 2035 年 74% 的失业率被认为不太可能。
• 历史上的自动化至今并未造成大规模失业；反驳者则认为，这一次的速度和规模可能不同。

规模化、轨迹与技术不确定性

• 围绕 LLM 进展究竟是已到 S 曲线平台期，还是仍将继续指数式增长展开争论：一些人认为能力跃迁很明显（尤其在代理方面），另一些人则认为只是边际提升。
• 一些人坚持 transformer 从根本上缺乏记忆、判断和法律人格；另一些人则指出，针对长期记忆和持续学习的研究正在进行。

算力、数据中心与本地影响

• 对 100T 美元以上 GPU 建设规模的预测被广泛嘲讽为在经济上不可能。
• 批评者将数据中心描述为掠夺性的“后工业矿山”（占用土地、水、噪音、电力；利润外流），而当地居民几乎看不到好处。
• 支持者回应说，能源建设、更好的监管以及芯片供应增加可以缓解许多担忧。

地缘政治与中美动态

• 一些人认为，在芯片和数据中心方面进行相互核查是可行的（类比冷战军控）；另一些人则怀疑追踪覆盖率和中国的合规性。
• 对被认为以美国为中心的叙述和“沙文主义”存在反弹，同时也在争论中国会在创新上超越美国，还是会在出口管制上跟随美国。

作为一种情景对 Plan A 的批评

• 几位评论者认为 Plan A 过于推测性，对 AGI/ASI 的 inevitability 过于自信，而且只聚焦于少数几个为强监管提供理由的结果。
• 另一些人则称赞它是迄今为止最现实的乐观起飞情景，尤其是在同时处理对齐风险和权力集中方面，即便时间线和数字可能有误。