Anthropic 研究员认为 AI “可能杀死所有人类”的概率超过 10%
BBC 的一篇报道提到，Anthropic 的一名研究员认为先进 AI 有超过 10% 的概率可能会让人类灭绝，这再次引发了关于如何认真看待 AI 系统存在性风险的争论。评论者争论这些警告究竟是真实担忧，还是炒作与监管俘获，并探讨一个不对齐的 AI 可能如何通过关键基础设施、武器或生物武器获得现实世界影响。也有人反驳说，当前模型的能力远远不够，即便发生核战争，要导致灭绝也极其困难，而社会更直接的挑战是在 AI 的经济潜力、加强监管以及可能的暂停令之间取得平衡。
感知到的 AI 灭绝风险
- 几位评论者接受 AI 可能终结人类这一点存在一个非零（>0%）的概率，并将其与此前针对 AI 研究人员的调查相联系。
- 另一些人则表示“0% 概率”，认为即使有核武器或极端气候变化，要杀死所有人类也几乎不可能。
- 还有人认为 10% 的概率在道德上不可接受，把它比作让人类玩俄罗斯轮盘。
灾难性或灭绝级伤害的情景
- 提出的机制包括：
- AI 通过黑客攻击、深伪指令，或渗透政府/军事系统来引发核战争。
- 借助 AI 协助设计或优化生物武器。
- AI 运行的基础设施和供应链发生连锁故障，导致大规模饥荒或社会崩溃。
- AI 利用机器人、无人机或雇佣兵（“用加密货币付钱给人类”）在物理世界中行动。
- 从长期看，AI 会不顾人类生存，使用地球的物质和能量（例如用于戴森群）。
- 有人认为彻底灭绝不太可能，但大规模伤亡情景是可能的；另一些人则认为这些想法很多都像科幻。
控制、 “拔掉插头”，以及物理载体
- 讨论“只要把数据中心断电不就行了”是否可行：
- 怀疑者指出，关闭所有数据中心的人力代价巨大，而且很难确保 AI 没有被复制出去。
- 人们担心 AI 最终会嵌入边缘设备、关键基础设施、反应堆和武器中，使关闭变得困难。
- 有人认为当前机器人技术还不足以让 AI 自给自足；也有人认为超级智能可以利用现有硬件“引导出”一支机器人劳动力。
科幻、伟大过滤器，以及人类替代
- 科幻（Star Trek、1984、回形针情景）既被当作有用的思想实验，也被视为不足以证明其必然发生。
- 讨论中出现了“伟大过滤器”和替代叙事：AI 可能殖民太空，并把人类视为过时的存在，或当作“动物园”物种。
- 少数人希望出现共生式未来（赛博格、双赢设计），并建议用合作型、非零和行为来训练 AI。
动机、炒作与治理
- 有人认为末日论叙事是大型实验室的公关或监管俘获策略，可类比早先关于“CERN 黑洞”的恐惧。
- 另一些人则认为“我们有一个简单的解决方案：不要做这件事”，但也指出经济和权力激励会推动继续前进。
- 也有人对政府和公司是否会把安全置于利润或影响力之上表示怀疑。