P（末日）

谁控制 AI 与对科技领袖的信任

• 许多评论者认为，如今的 AI 已经处在“错误的人手里”，批评亿万富翁创始人和“统治阶级”式的动态（金钱 → 权力 → 政治与媒体影响力）。
• Elon Musk 被视为极具争议：有人强调他在加速电动车和太空技术方面的作用；也有人提到右翼威权政治、纳粹/白人至上主义信号、个人丑闻，以及据称参与有害的法律和 AI 实践。
• 一些人担心那种自认为在拯救世界的“上帝情结”领袖，比“普通的一般反社会书呆子”更危险；但也有人反驳说，真正增加危险的是物质权力和资源。

开放 vs 封闭 AI、MAD 与“AI 多样性”

• 一派认为，多样化的、开放（权重）模型会形成一种相互威慑动态：许多不同的 AI 由许多行为者控制，可以制衡或阻止失控系统。
• 批评者认为，速度、算力不平衡，以及进攻相对防御更容易，使这种类比核 MAD 的说法很弱。
• 关于对齐是否必须体现在权重中，还是可以体现在提示词和系统设计中，也存在争论。
• 还有人担心，开放模型更强地赋能的是“末日人类”（例如邪教、极端分子），而不是 AI 本身。

P(doom) 以及为什么人们仍在构建前沿 AI

• 一些人很难理解，为什么有人一边声称灭绝风险有 10–25%，一边还继续推动能力提升。
• 给出的解释包括：相信自己能降低相对于竞争对手的风险、典型的人类自我合理化、筛选压力会留下更顺从或更技术乌托邦主义的员工，以及与核武器项目的历史类比。

前沿竞赛、RSI 与实验室格局

• 有人认为，目前前沿真正重要的只有两家美国实验室，并且它们可能最接近递归自我改进（RSI）；也有人指出，接近前沿的实验室并不止这些（包括中国的），并怀疑会存在永久护城河。
• 也有人怀疑 RSI 是否会带来爆炸式、失控式的能力增长，而不是更渐进、收益递减式的进步。

具体风险：黑客、生物武器与监控

• 一条讨论线是：模型是否能够自主入侵基础设施并复制自身；到目前为止，证据仅限于模型攻击 ML 工具链，而非数据中心。
• 关于生物武器，有人认为 LLM 降低了设计工程化病原体的门槛；也有人说现实中的实验室约束、专业知识以及自我风险仍然是强有力的制动因素。
• 评论者批评实验室一边声称 p(doom) 很高，一边却没有严格监控或约束自家系统的行为。

经济、监管与被俘获的担忧

• 有人指出，AI 正在抬高硬件和云成本，并可能缩小就业市场；这可能使许多商品和服务变得更昂贵，尽管个人生产力有所提高。
• 多位评论者怀疑，“末日”叙事会被用来推动监管俘获：把 AI 集中到少数公司，禁止强大的本地/开放代理，并为 GPU 管制提供正当性。
• 也有人强调真正的协调问题：许多政府和公司都需要一起放慢或停止，这在政治上似乎几乎不可能。

关于超级智能与对齐的看法

• 一种观点认为，真正的超级智能 AI 会发现可持续、合作的策略“显然更好”，而不是统治或种族灭绝；如果不是这样，那么这个宇宙本来就已经无可救药。
• 这与“正交性”观点形成对比（目标与智能相互独立），后者认为任意聪明的系统仍然可以追求任意的、甚至可能灾难性的目标。