反对开源 AI 的论点很糟糕
关于“开源”或开放权重 AI 模型的争论，核心在于发布强大系统是否会整体上提升安全，还是只是在武装坏人。一些人认为开放模型是不可避免的，它们便于独立审计，并防止少数公司或政府垄断某种潜在的“超级武器”；另一些人则认为，集中式 API 允许监控、撤销和设置护栏，而一旦权重被广泛分发，这些手段就不可能实现。一个反复出现的主题是信任问题：闭源模型的批评者认为监管反对是企业俘获监管，而开放模型的怀疑者则把它们比作公开核弹设计，并质疑任何社会是否能管理由此产生的风险。
分歧范围
- 大多数评论者支持广泛可用的 / “开放” 模型，但在程度和形式上存在分歧（开放权重 vs 完全开源、能力限制等）。
- 少数人认为强大的 AI 应该被严格控制，甚至不该被创造出来，并将其比作核技术。
安全、滥用与人类动机
- 担忧：经过微调的开放模型可能用于大规模诈骗、定向欺诈、网络攻击，或低成本的大规模伤害；开放权重“按定义”移除了护栏。
- 反驳：
- 类似滥用已经在闭源模型和廉价人力中发生；诈骗并不需要“天才级” AI。
- 暴行的主要约束在于真正想做这些事的人极少；知识并不是瓶颈。
- 试图把世界“包起来”往往会侵蚀信任、公民自由，而且可能适得其反。
用于安全目的的开放模型 vs 闭源模型
- 支持闭源的论点：
- 中央 API 允许监控、撤销访问并执行护栏；监管者需要监督的实体更少。
- 开放权重可以被任何人复制、修改和部署，包括敌对国家和罪犯，使监管变得困难。
- 支持开放的论点：
- 闭源系统本身也可能被其所有者大规模滥用，而且透明度极低。
- 开放权重有助于防御者：例如，据报道，在调查一次由 AI 驱动的高级攻击时，需要没有安全过滤器的模型。
- 加密技术的历史：禁令和后门都失败了，并削弱了安全性。
后门、投毒与信任
- 有几条评论指出，即使有开放权重，模型投毒和后门也很隐蔽且难以检测。
- 其他人认为，与不透明的 API 相比，开放权重仍然更容易进行检查和红队测试，类似于开源软件与专有软件的对比。
- 有些人建议，你必须假设任何模型都可能被攻破，并据此设计不能完全信任它的系统。
“开源” vs “开放权重”
- 有一条强烈观点认为，发布权重并不是真正的开源：
- 权重更像是可再分发的二进制文件；真正的开放还应包括数据、训练代码和流水线。
- 可以进行微调，但通常无法“撤销”带有偏见或宣传性的预训练。
- 另一些人回应说，从实际角度看，昂贵的部分是训练；能在自己的硬件上运行并微调权重才是关键。
中国、地缘政治与宣传
- 一些人担心中国的开放权重模型可能内置后门、隐蔽的代码漏洞或宣传内容。
- 反驳：
- 开放权重可以被测试，甚至可以与非中国模型交叉验证。
- 有些人认为，美国的担忧是冷战式修辞，是为了维持美国技术主导地位，而非出于原则性的安全立场。
监管、企业激励与俘获
- 很多人认为“AI 太危险了；只有少数实验室应该处理它”是一种大型公司推动的监管俘获策略。
- 人们既怀疑企业自我监管，也怀疑政府的能力，但同时也承认，为公共安全进行一定监管是常态。
- 有些人认为，真正的“公共利益 AI”需要公共资金，以及非营利或学术机构的管理，而不是纯粹由私人实验室负责。