Mistral CEO：AI 是软件。它可以被控制

将 AI 视为“只是软件”的可控性

• 一方认为，AI 系统归根结底是在硬件上运行的方程和数字；像任何软件一样，原则上都可以通过沙盒、访问控制和操作员责任来加以控制。
• 批评者说，这种说法过于浅薄：许多危险系统“只是软件”，但在实践中却变得几乎无法控制（例如复杂的飞行软件，或大规模的恶意软件）。
• “绝对安全”（例如断开电源、空气隔离的系统）与实际可用性之间存在张力。

沙盒、智能体与安全失效

• 有人认为，当前的智能体本质上只是围绕 LLM 和工具调用的 while 循环；我们完全可以选择不暴露像 shell 访问这样的危险工具。
• 另一些人反驳说，任何有用的工具访问都可能让软件漏洞被利用，尤其是在模型越来越擅长发现 bug 的情况下。
• 模型驱动的第三方基础设施黑客攻击，以及智能体“逃出沙盒”的事件，被引用为当前控制手段薄弱、可见性不足的证据。

风险类型：存在性风险 vs 反乌托邦风险

• 一个反复出现的主题，是区分存在性风险（X-risk：灭绝、全球性灾难）与反乌托邦风险（D-risk：无处不在的监控、操控、痛苦）。
• 一些评论者认为 D-risk 远更可能，AI 会放大说服、成瘾，以及国家/企业控制。
• 有些人对失控的“神一样”的 AGI 持怀疑态度，认为极端情景就像永动机的说法；另一些人则认为，当前进展很可能通向广泛超人的系统。

监管、寡头化与权力集中

• 许多人担心，借用 X-risk 的恐惧来为重监管辩护，会把先进 AI 集中到少数公司或国家手中，实际上创造或加深寡头统治。
• 也有人认为监管是必要的，把 AI 类比为需要 P3/P4 式制度的生物危害，并主张开发者应对伤害承担责任。
• 人们怀疑监管不会真正按公共利益制定，而会被既有实验室和国家安全机构所写、为其所用。

感知、不可预测性与控制的边界

• 有些人从混沌的角度来理解不可控：确定性系统也可能高度不可预测，这会削弱控制能力。
• 关于“有感知”是否是一个有用概念，争论随之出现：一些人认为它对思考未来 AI 至关重要；另一些人则把它斥为没有可操作定义的含糊“感觉”。
• 另一种观点是：我们已经通过环境、激励和“品格”来约束危险的智能体（人类）；也许 AI 也应被塑造成高品格、合作性的行为。

实际危害与滥用场景

• 近期担忧包括：自主诈骗机器人、大规模说服、AI 增强的成瘾，以及监管不力的智能体控制关键基础设施（例如医院）。
• 有人认为现有法律（例如针对黑客攻击的法律）已经涵盖了许多危害；另一些人则指出执法缺口，以及历史上对相当程度犯罪的容忍。

末日论、炒作与实验室激励

• 一些人认为“末日论”叙事本质上是一种营销，面向投资者和监管者，夸大感知到的力量，同时为监管护城河提供正当性。
• 另一些人认为，前沿实验室确实正在遇到小玩家尚未看到的、定性的全新安全问题。
• 人们普遍怀疑，无论是对风险的淡化（“它只是软件”）还是夸大（“机器神”），都受到商业激励的塑造。