GPT-2：太危险，不能发布（2019）

“太危险，不能发布”的范围（2019 年的 GPT‑2）

• 早期担忧主要是垃圾邮件、网络钓鱼和错误信息，而不是编程或 AGI。
• 有人认为，考虑到 2019 年时的未知因素，这种谨慎是合理的。
• 另一些人则认为，这只是“AI 很危险”营销的早期例子，目的是吸引注意力、资金和有利监管。

预期的危害是否成真？

• 许多人认为是：
  • 低成本、难以检测内容的爆炸式增长：垃圾邮件、SEO 垃圾内容、宣传、诈骗、AI 撰写的文档和邮件。
  • 教育领域出现严重作弊；作业和论文变得极易伪造。
  • 深度伪造和合成媒体削弱了人们对图像、视频和新闻的信任。
  • 新型诈骗手段（语音/视频欺诈、政治骗局）以及对 CSAM 的担忧。
• 也有人反驳，要求给出具体量化，并指出：
  • 互联网的“变烂”和内容农场早于 LLM。
  • 一些危害（例如把政客做成宗教人物的表情包）更多反映的是政治，而不是 AI 本身。

对工作和软件工程的影响

• 一些开发者表示他们的工作流程已经被改变：他们几乎不再直接写代码，或者完全不写；非程序员一天内就能发布应用。
• 另一些人则反驳：
  • 简单的脚手架工作过去就可以通过廉价外包/离岸完成。
  • 没有专业能力，复杂的大型系统仍然会崩溃，并带来安全风险。
  • 维护和长期质量才是难点。
• 关于新模型是否会“解决”糟糕工程，还是只会让更多低质量系统出现，存在争论。

社会、经济与心理影响

• 据称的负面影响包括：信任流失、就业替代（例如翻译、初级岗位）、资源使用增加（RAM/GPU/能源）、网络文化恶化，以及一些用户对未来失去希望。
• 有人希望出现类似《星际迷航》的后稀缺社会；也有人警告，在当前资本主义体系下，先进 AI 可能会极大地集中财富和权力。
• 少数人指出可能的好处：
  • 减少对有毒平台的依赖（人们停止无意义刷屏，发帖也更少）。
  • 用 AI 替代繁琐的网页搜索后，生产力和心理健康都有所提升。

治理、安全与对实验室的信任

• 对安全叙事存在分歧：
  • 有人认为分阶段发布、模型卡和明确的危险表述是负责任的做法。
  • 另一些人则认为，鉴于对主要实验室的虚伪和过往行为的看法，“太危险”这种说法是在寻求监管护城河和垄断权力。
• 也有人认为，在模型训练使用的是公开的人类数据的情况下，限制访问是不道德的；他们主张开放权重，或至少广泛可用。