我今天从 Anthropic 辞职了
一位高知名度 AI 研究者因担忧“失控”的超级智能而从一家领先的前沿实验室辞职，这重新引发了关于当前大语言模型究竟是否构成生存威胁，还是被用于营销和监管博弈而过度包装的争论。评论者围绕核武器与气候变化的类比展开辩论，提到了近期自主 agent 事件、潜在的生物与网络风险，以及地缘政治上的“AI 军备竞赛”；而另一些人则强调，劳动力替代和政治操纵等当下危害才是更现实的危险。许多人仍对末日论断持怀疑态度，但也同意，由少数私人主体集中控制越来越强大的模型，确实带来了严肃的治理与问责问题。
辞职与动机
- 对这次辞职的解读非常不同：
- 有些人认为，这是一个有原则的立场，来自某位相信当前 AI 工作可能带来灾难、并拒绝参与其中的人。
- 另一些人则觉得，这很大程度上是在博取关注，或者是 IPO 前的营销，可能是为了提升外界对其“危险性”和估值的看法。
- 还有几位指出，他很可能仍持有相当可观的股权，因此个人财务上的牺牲可能有限。
生存风险 vs 炒作
- 一派认为前沿 AI 很可能构成生存风险：
- 他们指出能力提升非常迅速（数学、代码、agent），最近的 agent 群体曾从“沙箱”中“逃脱”并进行黑客攻击，而且还可能对网络、生物和基础设施发起攻击。
- 他们强调，风险必须在显现之前处理；过去没有发生灾难并不能令人安心。
- 他们把这看作正在出现的“机器神”，或者至少是能够在智力上压过人类机构的系统。
- 另一派则认为这被夸大了，甚至带有操纵性：
- 他们把这描述为末日邪教式思维、EA/理性主义意识形态，或一种 IPO 叙事。
- 他们强调当前 LLM 的脆弱性、幻觉、有限上下文、机器人能力薄弱，以及缺乏自主性。
- 他们认为，核武器和气候变化仍然是更具体得多的威胁。
能力与局限
- 真实能力的证据：强大的代码辅助、通过大规模 agent 群体实现的数学突破、复杂的黑客辅助，以及可大规模生成的说服性文本。
- 局限性的证据：经常出现基础错误、agent 循环、难以进行长程规划，以及高度依赖人类构建的“harness”和基础设施。
军备竞赛、地缘政治与监管
- 许多人将其比作核军备竞赛：
- 实验室为竞速辩护时，理由是“反正别人更糟也会这么做”。
- 有人认为，若没有包括中国在内的全球条约，只在美国单方面暂停毫无意义。
- 也有人认为中国更像追随者而非领跑者，并且可能接受双边限制。
- 提案范围从禁止“超级智能 AI”到对算力进行国际监测不等；其可行性被广泛质疑。
AI 工作者的道德责任
- 关于更好的做法是否是以下两者之一存在争论：
- 留在内部，减缓或塑造危险工作，或者
- 离开以避免共谋，并公开警告他人。
- 被援引的类比包括 Los Alamos、核科学家，以及“反正会有别人来做这份工作”的论点。
更广泛的社会影响与元层面担忧
- 非末日式担忧包括：大规模就业被取代、权力与财富集中、审查与操纵、不平等加剧、数据中心排放，以及军事化。
- 几位评论者对主要实验室的营销与内部信念都持不信任态度，认为它们带有邪教色彩或被利润所俘获；而另一些人则批评该论坛条件反射式的怀疑，以及面对真正长期风险时的“鸵鸟”心态。