在互联网上筛检最可怕恐怖内容的年轻人
商业内容审核——从社交平台上过滤儿童虐待、血腥画面、性骚扰和其他 NSFL 材料——被描绘成一种心理上极具破坏性的工作,通常被外包给年轻、薪酬低廉的承包工,且往往位于较贫穷国家。评论者争论这种劳动为何会存在、观看极端图像究竟会造成多大伤害、AI 是否真能在不带来新风险的情况下取代人类,以及公司、法律体系和用户在维系这种剥削模式中承担多少共谋责任。许多人认为,即便 AI 有助于检测,人类仍会留在流程中处理边缘情况并提供训练数据,这意味着核心的伦理和心理健康问题远未解决。
审核工作的心理影响
- 许多人将观看极端内容(CSAM、血腥画面、斩首、家暴/性虐待)的代价比作战争、警务、EMS 或交通警察工作。
- 反复接触被描述为会导致麻木、偏执、PTSD、物质滥用,以及当脱离信息流时出现“戒断”。
- 也有人认为,并非所有血腥材料都同样有害:情感虐待、儿童性侵和悲惨事故被描述为比“纯血腥”更糟。
- 关于图像本身是否具有内在伤害性存在分歧:有人说“杀不死你的会让你更强”,也有人强烈反对,认为这是有害的民间智慧。
裸露、语境与“dick pics”
- 约会应用的审核员报告收到大量未经请求的生殖器照片,主要针对女性。
- 争论的核心在于这究竟是“只是裸露”还是骚扰:
- 一方强调意图、权力和羞辱;持续看到有针对性的虐待会导致厌恶,并对男性失去信任。
- 另一方则认为裸露本身在文化上被过度性化,创伤源于语境,而非解剖结构。
- 内容量大且重复也被认为会消耗心理,即使内容并不极端也是如此。
AI、规模与边缘案例
- 许多人认为 AI 对检测 NSFL/非法内容、减少人类暴露至关重要,但:
- 在大规模下,误报/漏报仍是重大风险,尤其当自动封禁或移交执法机构与 AI 输出挂钩时。
- 对手会适应,因此 AI 只是第一道过滤;人工复核仍然必要。
- 训练检测模型本身需要大量由人工标注的恐怖内容数据集。
- 某些法域对存储此类内容的法律限制也进一步增加了 AI 训练的复杂性。
公司结构、外包与伦理
- 反复提到内容审核中心(例如在肯尼亚)凸显了低薪、恶劣条件、打压工会,以及针对大型平台及其承包商的法律行动。
- 有人认为公司在结构上就是以利润最大化为导向,实际上是非道德的;也有人不同意法律严格要求股东优先,但承认激励机制偏向于冷酷行为。
- 用户的共谋也被指出:人们谴责对审核员的剥削,却继续使用经过重度过滤的社交平台。
劳动力、培训与透明度
- 评论者主张在入职前更好地披露工作的现实、进行心理筛查、提供系统性支持,并且最好雇用年龄更大或经验更丰富的员工。
- 目前的入职培训被认为过于突然、尽可能地制造冲击,而不是逐步建立应对机制。