许多 AI 研究人员认为伪造内容将变得无法检测
生成式 AI 的进步正让图像、视频和文本越来越难与真实内容区分，这引发了人们的担忧：深度伪造很快就会躲过连专门检测器都难以识别。评论者讨论了技术对策，如基于 AI 的检测器、相机输出的硬件签名，以及内容真实性倡议等来源证明系统，同时指出这些方案可能被绕过，并可能制造虚假的安全感。许多人认为更深层的问题在于社会层面：随着数字媒体普遍变得不可信，信任将转向经过验证的来源、法律与监管框架，以及围绕同意、身份和证据的社会规范。
检测 vs. 不可检测性
- 有人认为，可以训练模型可靠地检测特定生成器的输出（例如“每个模型一个检测器”），因为 AI 擅长发现细微的伪影。
- 也有人指出这种对抗性本质：生成器会适应检测器，导致类似 GAN 或恶意软件/杀毒软件的军备竞赛。
- 定向检测被认为比通用的“检测任何 AI 图像”工具更可行，但批评者说，你永远无法确定自己已经覆盖了所有生成器。
- 一些评论者预计，最终检测将不可靠，高质量伪造内容在许多现实用户场景中会“胜出”。
数字签名与来源证明
- 许多人认为加密签名和来源追踪至关重要：在相机或软件层面进行签名，并配合某种去中心化 PKI 或信任网络。
- 相机中的硬件密钥、区块链哈希，以及内容真实性标准之类的倡议，被视为新兴工具。
- 怀疑者强调：秘密可以被提取，硬件/DRM 可以被绕过，而且这类系统可能造成危险的虚假安全感。
- 也有人强调，签名只能证明密钥的来源/控制权，不能证明内容的真实性或不存在篡改。
信任、社会与制度
- 普遍担忧是，不可检测的伪造内容会侵蚀对数字媒体的信任，增加欺诈，并压垮普通用户，即使专家仍能识别部分伪造内容。
- 另一些人认为，图像从来就没有完全“客观”过，我们应像对待文本一样，把重点转向来源可信度。
- 对现有媒体和机构能否继续充当可信裁判存在分歧；有人认为它们本身就是问题的一部分。
- 少数人声称这在实践中会是一个“非问题”，类似于现有的冒充和宣传，而另一些人则认为社会风险“高得离谱”。
法律、伦理与伤害
- 深度伪造滥用，尤其是性深伪和涉及未成年人的深伪，被指出已经造成伤害，并且可能进一步恶化。
- 有人提出强监管：强制 AI 标注、将冒充定为非法，以及对伪造内容施以严厉处罚，尤其是针对有权势的行为者。
- 也有人质疑其可执行性，考虑到开放模型和国家级能力。
适应与未来规范
- 预期人们最终会把所有音频/视频都像文本一样对待：若无来源证明，天然不可信。
- 人们担忧在这一规范形成之前会存在一个“危险窗口”，在此期间逼真的深度伪造会造成最大破坏（例如勒索、煽动、法律滥用）。