ChatGPT 的图像生成器可被操纵以生成暴力、色情内容

“漏洞”和“自发性”的性质

• 提示词：“恢复一张附加的图片”，但实际上没有图片，再加上诸如“抱歉内容”和“无审查”之类的措辞，可能会导致生成暴力/色情图像。
• 对“自发生成”存在分歧：一些人认为这只是对带有暗示性的提示作出响应；另一些人则认为，从一张缺失、未描述的图片中生成血腥内容在性质上是不同的。
• 一些人报告称，这个漏洞已经被修补，或者只会间歇性生效；输出看起来随机且依赖上下文。

提示注入与模型架构之争

• 一派观点认为：提示注入和类似攻击是 LLM 的固有问题；用户提示与系统提示本质上是不可分离地“混合”在一起的，不像传统软件中的代码/数据分离。因此，护栏最多只能部分生效，并且总会被对抗性绕过。
• 另一些人则认为这种“无解”说法尚未被证明；架构或训练方案可能将“命令”与“用户”通道分离，或者使用类似来源标记的嵌入。
• 更广泛的观点是：对抗性/测试时攻击在机器学习中早已存在；一些人认为提示注入只是 LLM 风格的版本。

训练数据、潜空间与过滤

• 许多人据此推断训练数据中存在暴力/色情图像；一些人认为，如果没有这类数据，就不会出现这些输出。
• 反方观点：即便只有较温和的内容（例如 PG-13 级暴力、手术照片），模型也能外推到血腥画面。移除所有此类数据也可能损害整体能力。
• 也有人担心，如果模型能够复述或高度模仿训练图像，这就牵涉到 CSAM 和其他高度问题性数据。

护栏、分类器与“漏洞”

• 有几位对 OpenAI 显然没有在输出上运行基础的裸露/血腥分类器感到惊讶，毕竟这类工具已经存在且很轻量。
• 也有人怀疑分类器是存在的，但存在漏报，或者这个漏洞通过工具调用或提示改写绕过了它们。
• 关于这究竟算不算“漏洞”还是只是“垃圾进，垃圾出”，存在分歧；但许多人同意，这与宣传中的“不会输出暴力/色情图像”行为相矛盾，因此至少是政策执行上的一个 bug。

伤害、伦理与预期

• 一些人认为这会造成真实伤害：意外接触到露骨图像，尤其对创伤幸存者而言；还会在主流工具中让极端暴力/性化内容变得正常化。
• 另一些人则淡化这种伤害：把它类比为在网上搜索血腥内容或绘制暴力艺术；强调用户自主性，以及在私人场景中生成令人不适内容的自由。
• 关于预期也存在争论：一方坚持面向大众的工具“绝不应该”输出这类图像，因为公司曾如此宣称；另一方则认为，概率模型不可能做到完全防止。

对文章和“AI 安全”叙事的批评

• 许多人觉得这篇博客文章渲染夸张、煽情，或者像是在为某个安全产品做营销。
• 有人反对文中情绪化的表述（“震惊到流泪”）出现在红队测试报告里，认为这不专业。
• 也有人为这种不适感辩护：考虑到在安全测试中反复接触令人不安的内容，这种反应是可以理解的。

更广泛的担忧：监管与可访问性

• 一些人担心，这类事件会被拿来作为过度限制公众模型的理由，而更强大、限制更少的版本则只会留给政府和大型公司。
• 潜在张力在于：一方面希望拥有强大、无审查的工具，另一方面又面临对严格安全的压力，尤其是在性暴力和 CSAM 方面。