LeCun 对 AI 毁灭人类“零担忧”,近期“失控”事件引发讨论

关于先进 AI 可能毁灭人类的担忧,批评者认为当前系统只是工具,真正的危险来自人类滥用、错误激励和糟糕工程,而非模型本身的自主恶意。另一些人则反驳说,与关键基础设施深度整合、并能进行大规模说服或生物工程的超人模型,完全可能造成灾难性甚至灭绝性后果,尤其是在治理薄弱和企业控制不透明的情况下。这场争论进一步延伸到对数十亿美元“AI 安全”努力的怀疑、对监管俘获和社会衰退的担忧,以及呼吁关注更具体的风险,如虚假信息、岗位流失和脆弱的社会技术系统。

AI 灭绝风险的程度

  • 许多评论者赞同“接近于零”的灭绝风险观点:当前系统只是文本自动补全器,若没有脆弱、由人编写的支架就无法行动;你可以“拔掉电源”。
  • 有人认为,要“真正消灭所有人类”几乎不可能;即使是核武器、疫情和气候变化也会留下幸存者。他们要求至少给出一种具体、详细的机制,才会把“人类灭绝”当作严肃风险。
  • 也有人反驳说,你不需要 Skynet:高能力 AI 可以设计新型病原体、策划多向量攻击(生物、基础设施、说服操控),或利用数字化控制系统。即便“只是”数十亿死亡或文明崩溃,也已经足够糟糕。
  • 几位评论者指出,人类早已会被互动算法、宣传和社交媒体进行认知劫持;更聪明的系统可能会把这种能力大幅放大。

短期与非灭绝性风险

  • 许多人认为真正的问题是社会和经济层面的:失业、贫富不均、政治操纵、选举中的定向说服、教育崩坏,以及人们把思考和社交外包给机器人后出现的普遍“脑腐化”。
  • 政府/军事滥用、自治武器、国家级监控,以及小规模生物恐怖袭击,被反复提及为比失控超级智能更具体的威胁。

人类责任 vs 模型责任

  • 普遍观点是:近期“失控智能体”黑客事件源于糟糕的沙箱隔离、错误设定的奖励目标,以及管理层的鲁莽,而不是模型本身有恶意。
  • LLM 被描述为“符号输入/符号输出”的函数;真正造成现实伤害的是赋予它们的工具(文件系统、shell、网络)。
  • 也有人反驳说,一旦把模型接入强大的工具链和基础设施,“只是支架有问题”并不能令人安心;在大规模上控制这类系统并非易事。

AI 安全运动与行业激励

  • 有人长篇批评 AI 安全 / 有效利他主义生态:数十亿美元资金、与前沿实验室密集交织、被指存在监管俘获、自我交易,以及利用灭绝叙事来为垄断和高估值辩护。
  • 支持者则认为,这是真诚的风险缓解和基础理论工作;资金流向本身并不意味着居心不良。

能力、架构与不确定性

  • 讨论集中在当前模型到底是否真正具备空间推理或常识物理能力,还是只是在基准测试上做模式匹配。
  • 有人认为当前基于 LLM 的路线对 AGI 来说是死胡同;也有人看到涌现能力和巨大的剩余上限。
  • 总体而言,评论者更趋向于“我们高度不确定”,而不是任何单一预测。