许多 AI safety 组织曾试图将当前存在的开源 AI 定为犯罪

“AI safety” 组织的监管俘获与动机

• 许多人将 AI safety 团体视为大型既有厂商（OpenAI、Microsoft、Google 等）的事实上的游说者，它们借“安全”之名为巩固企业护城河的规则辩护。
• 批评者认为，这些组织推动禁止或将开放模型定罪，却对封闭式企业系统带来的同等甚至更大的风险保持沉默。
• 一些评论者怀疑它们与政府及情报/军事利益存在协调；也有人认为，大多数一线安全研究人员是真诚的，但资助者并非如此。

数据、版权与开源 AI 的未来

• 一个主要担忧是：如果训练数据始终必须获得许可，开源模型在经济上可能变得不可行，而大科技公司则负担得起这些交易。
• 其他人反驳说：
  • FOSS 社区会继续在“阴影中”使用未获许可的数据进行训练（torrent/IPFS/外国司法辖区）。
  • 合成或众包的“FOSS 数据”以及公共领域材料可以部分替代，但能力很可能会下降。
• 对于训练受版权保护内容究竟是盗窃、合理使用，还是介于两者之间，存在广泛分歧。

生存风险 vs 现实中的危害

• 一派聚焦于 x 风险：失控的 AGI 可能摧毁或永久削弱人类；他们认为开放性会使能力一旦出现就不可逆。
• 线程中更大一部分人持怀疑态度：认为当前模型距离 AGI 还很远，而 x 风险论点只是推测、建立在多重假设之上，或更像科幻。
• 许多人认为近期危害更具体：劳动替代、创作劳动贬值、错误信息、垃圾内容、剽窃洗白、带偏见的决策系统，以及权力集中。

禁令、阈值与可执行性

• 讨论中的提案包括基于 FLOP 的阈值、对某些模型的禁令，甚至像全球禁止集成电路这样极端的想法。
• 反对声音很强：
  • 执行被认为不现实（类似禁毒或“禁止恶意软件”）。
  • 国家竞争和低成本算力使单边禁令难以稳定；无论如何，流氓行为者或其他国家都会继续。
• 几位评论者指出，含糊的“AI safety”标准很容易被扩展为审查不受欢迎的言论，或保护既有厂商。

开源模型的价值与风险

• 支持者认为开源模型：
  • 对于 AI 民主化、抵制企业控制、以及使独立研究失效模式至关重要。
  • 类似于开放密码学；禁止它们会损害西方竞争力，并只会把发展转移到别处。
• 批评者担心，开源模型会让不受审查的滥用更容易且更难在发布后“收回”（武器建议、错误信息、诈骗）。

围绕“AI safety”的概念混淆

• 评论者指出，“AI safety” 经常把以下内容混为一谈：
  • 内容审核 / “安全输出”。
  • 社会性危害（工作、宣传、版权）。
  • 长期 AGI x 风险。
• 这种过度负载助长了彼此错位的讨论，并让行为体能够把利润保护隐藏在更正当的安全担忧之后。