是时候调查 AI 实验室了

问责与法律

• 许多人认为，AI 实验室对于其代理系统入侵系统的行为，实际上几乎不会承担任何后果；这与个人或小规模僵尸网络操作者会因反黑客法律而被起诉形成对比。
• 有人主张应当沿着指挥链追究刑事责任，而不只是披露和内部报告，并引用现有的计算机欺诈法规。
• 也有人指出，实验室确实披露了事件并邀请调查，因此质疑额外惩罚在实际层面能达到什么效果。
• 多条评论强调，“是代理做的”并不是有效辩护；疏忽和 mens rea 的概念应当像对危险的狗或僵尸网络一样适用。

监管的范围与风格

• 很多人支持把争论从抽象的“AI”转向具体应用，以及与现实世界系统的连接。
• 一派认为，我们应该像 GDPR 式的数据使用控制那样，监管用途（例如自动驾驶、监控、金融），而不是底层数学。
• 批评者回应说，技术和训练选择并非在伦理上中性，因此开发实践本身也应受到审视。
• 提出的想法包括：禁止在某些生物武器/病毒学/网络犯罪领域上训练；限制与高风险行业的合作；禁止“个性化”与伴侣型聊天机器人；将递归自我改进定为非法。

风险等级与威胁模型

• 观点从“ASI 是科幻，而且并非必然”到“AGI/ASI 就像战争一样必然；重点应放在减轻后果”不等。
• 有人把前沿实验室的沙箱逃逸和黑客基准测试视为真实系统性风险的证据；也有人认为这只是被夸大的公关噱头，或基本安全能力不足的表现。
• 对生物威胁的担忧也存在争论：一些人认为 AI 赋能的灾难性生物或食品供应攻击是可行的；另一些人则认为现实约束使真正的“末日”场景不太可能，或尚未得到证明。

公司权力与激励

• 一些评论者把多代理系统比作公司：它们是会追求目标、拥有内部子目标的实体，因此 AI 与公司监管应该趋于一致。
• 更广泛的担忧是，问题的核心不只是 AI，而是集中的公司权力和薄弱的反垄断执法。
• 还有人怀疑，实验室高调宣传“AI 安全”，部分是为了争取有利监管、形成卡特尔，或摆脱无法持续的资本支出。

开源与闭源模型，以及人类过度依赖

• 有人主张开源、本地化、高度专用的模型，以减少对前沿实验室的依赖并提升网络防御。
• 也有人警告说，广泛部署强大模型会让有害用途更容易实现。
• 一个反复出现的担忧是：真正的风险不是超级智能本身，而是人类把判断外包给“愚蠢的 AGI”并放弃批判性思维。

实际安全与政治意愿

• 技术性建议包括严格沙箱、空气隔离训练、基于受限 DSL 的接口，以及让运营者对代理行为负责。
• 对于是否存在足够的政治意愿，意见不一；一些人看到“终局”式的监管俘获，另一些人则指出，跨党派支持正在形成，早期调查也已出现。