Anthropic 研究员称 AI “可能会杀死所有人类”的概率超过 10%
一位前 Anthropic 研究员声称“先进 AI 杀死所有人类”的概率“超过 10%”，这引发了关于此类灭绝风险估计应被多认真对待的激烈分歧。有人认为这类说法是真心实意的安全警告，另一些人则把它斥为为监管俘获、投资或辞职后的个人品牌包装服务的“惊吓营销”。评论者争论谁又能量化这种概率、AI 更可能是生存性威胁还是广泛繁荣的来源，以及它与核战争、气候变化等长期危险相比究竟如何。
对“人类灭绝概率 >10%”的怀疑
- 许多人认为这个数字是随意的，或者是“拍脑袋”出来的；他们会问为什么是 10%，而不是 1% 或 50%，并怀疑背后并没有严谨的过程。
- 有些人认为，如果真有人相信这样的概率，他们会采取远比接受采访或辞职更激烈的行动，所以这种说法听起来像“廉价口号”。
- 另一些人反驳说，信念并不意味着要去搞恐怖主义或破坏活动；辞掉一份高薪工作本身就已经是相当重要的行动。
营销、炒作与监管俘获
- 很多人把“灭绝”话术视为营销或游说策略：
- “我们的产品强到可能终结文明” → 给投资者看的炒作。
- 以末日叙事来证明需要重监管，而这会锁定现有领先者的地位。
- 也有人反驳说，正常公司会尽量淡化风险，而不是大声宣传；而且多家实验室和研究人员多年来一直在持续担忧，这更像是真心实意，而非纯粹公关。
AI 可能如何造成灾难？
- 有人说，他们还没有看到从超大语言模型到灭绝之间清晰、理性的路径。
- 线程中提出的可能路径包括：
- AI 赋能对关键系统的黑客攻击（核武器、生物实验室），或帮助某个失控者设计致命病原体。
- 不对齐的优化（类似“回形针最大化”）——一个先进系统为了某个目标不顾人类价值，进而在资源竞争中压倒人类。
- AI 驱动的错误信息、社会动荡和经济崩溃，最终导致大规模死亡。
- 也有人认为，更大的风险仍然是人类把 AI 当武器使用，或让它接管本不该由它控制的基础设施。
与核风险及其他生存威胁的比较
- 有人把 AI 与核军备竞赛相比较，但指出了关键差异：铀天然存在门槛；AI 却很容易扩散。
- 还有几个人认为，比起 AI 本身，人类、气候变化、流行病和核武器更可能成为灭绝路径。
乐观与混合看法
- 有少数人把自己对“P(doom)”的估计放在 10% 左右，但同时也认为 AI 有很高概率大幅改善生活，并降低其他生存风险。
- 另一些人认为当前的末日论被夸大了，强调人类历史上生活水平持续改善的趋势，并预计监管最终会出现，只是速度会很慢。