抱歉,你不会死于 AI 工程化超级病毒

许多人,包括生物学家,对“大语言模型很快就会让单个业余者设计出末日级‘AI 工程化超级病毒’”的担忧持强烈怀疑态度;他们强调,真正的生物武器开发受限的不是想法,而是艰难的实验工作、安全基础设施和复杂的分子现实。也有人反驳说,AI 仍会实质性降低国家或有组织团体的门槛,加速更简单生物武器的设计,提升瞄准或隐蔽能力,并扩大社会工程规模,即便它不能凭空“想”出一种完美超级病毒。争论进一步扩展到 AI 能力和实验室自动化会以多快的速度进步、当前生物安全和供应链控制是否足够,以及如何在开放 AI 研究与更易获得的生物威胁风险之间取得平衡。

整体情绪

  • 讨论分歧明显:许多人认为 AI 工程化超级病毒被过度炒作;也有人觉得这篇文章显得自满或天真。
  • 大多数人同意,AI 不会很快让某个随机青少年毁灭人类,但在中长期风险以及正确的政策应对上意见不一。

生物武器的可行性与限制

  • 多位有生物学经验的评论者强调,病毒工程在根本上很困难:分子物理很复杂,预测能力有限,而且必须进行真实生物实验。
  • 有效的生物武器需要反复的人类(或动物)实验、严格的生物安全、专用设备和供应链,这些被认为才是真正的瓶颈。
  • 有人引用历史上的实验室事故和污水监测,说明在不泄漏的情况下处理高传染性病原体有多么困难。

认为 AI 生物风险被夸大的论点

  • 如果制造强力生物武器真的很容易,我们早就会在恐怖主义和战争中看到更多使用;但现实中,常规武器仍占主导。
  • 现有神经毒剂和炭疽在技术上都可获得,却很少被使用;障碍在于后勤、严谨性和意图,而不是信息。
  • AI 被类比为一个有帮助的设计工具,但仍受限于实验工作;认为纯粹“思考”就能跳过现实检验,被比作把 AI 当成魔法。
  • 有人认为,以“青少年黑客制造超级病毒”为框架的监管,主要服务于大型 AI 厂商的监管俘获利益。

认为 AI 会实质性提高生物风险的论点

  • 也有人认为,当前的困难并不能证明未来的能力;AI 进展(例如蛋白质建模)非常迅速,并可能延伸到功能以及药物/毒素设计。
  • 风险不只限于病毒:AI 还可能帮助优化小分子毒物、更隐蔽的制剂,或更容易的传播方式。
  • 有人担心,AI 会让流氓国家或资金充足的组织的门槛下降得远比单个青少年更多。
  • 有些人提出混沌式搜索策略(大规模重组/突变),而不是精细定向设计,认为虽然概率低,但存在非零的“真的很糟”结果。

超级智能、对齐与能动性

  • 少数人认为,真正的超级智能大概会找到某种杀死我们的办法,不一定是病毒,也可能通过纳米技术或隐蔽的生育/不育操控。
  • 也有人反驳说,即使是超级智能,也无法绕过对经验数据和物理实验的需求。

历史与现有威胁

  • 天花、美洲原住民人口锐减和黑死病被引用为证据,说明高致死率、高传染性的病原体是可能存在的。
  • 反方指出,这些事件都依赖特定历史背景(缺乏卫生条件、没有免疫力),并不能直接说明今天就能轻易设计出“末日病毒”。

治理、监管与开源模型

  • 有人建议,与其限制知识或开源 AI 模型,不如像现在有限度地做的那样,对关键实验室物资和化学品进行把关。
  • 也有人认为,强大的、没有护栏的模型终究会出现,而社会对 AI 赋能的实验室生产力和潜在泄漏都准备不足。

专业性、过度自信与语气

  • 若干评论批评技术/经济评论员在没有领域专业知识的情况下,却自信地评价病毒学和生物武器。
  • 也有人警惕过度的资格主义,但仍抱怨对 AI-生物风险的讨论过于简单化或树立稻草人。
  • 对两种立场都存在不满:既反感“青少年杀死 90% 人类”的末日式煽动叙事,也反感“我想不出怎么会发生,所以它不可能发生”这种轻描淡写的论调。