发布虚假统计数据，却被 LLM 引用

原文 ↗ Hacker News 讨论 ↗

一篇博客实验描述了一个仅花 50 美元搭建、充满虚构统计数据的网站如何被 Google 忽略，却被大语言模型吸收并引用，这重新点燃了人们对 AI 系统将错误信息洗白为看似权威答案的担忧。评论者围绕 LLM 是否能可靠地对网页内容做事实核查展开争论，涉及垃圾内容、SEO 操纵和“数据投毒”的激励机制，以及这如何放大网络信任的长期问题。提出的应对方式包括更严格地筛选训练数据、依赖经过验证的“官方”来源，以及对机器生成信息保持更广泛的社会怀疑。

概览

  • 该帖讨论一项实验：有人用很低成本创建了一个完全伪造统计数据的网站，随后却被 LLM、学术工作和银行研究引用。
  • 核心担忧包括：数据投毒、AI 输出的可信度、错误信息的责任归属，以及这究竟是一个新问题，还是旧问题的加速版。

LLM 与虚假数据脆弱性

  • 许多人认为，LLM“并不知道也不在乎”数据是真是假；它们只是进行模式匹配，并自信地给出结果，而没有认识论层面的校验。
  • 通过提示词进行事实核查被视为不可靠：模型可能会幻觉出自己已经核实了来源，过度信任新近或热门内容，并且比人类更容易被骗，却依然表现得权威。
  • 有人指出，LLM 往往会提取搜索结果前列的内容，其中包括 SEO 垃圾内容或由 LLM 生成的页面，从而形成反馈回路（“吃自己的屎”）。

人类类比与旧问题

  • 多条评论指出，这并非 LLM 时代才有：SEO 垃圾内容、Wikipedia 伪造引用（citogenesis）、假民意操纵（astroturfing）、诱饵街道（trap streets）、虚假评论，以及把“事实”洗白的低质量媒体早已存在。
  • 另一些人强调，当人类浏览网页时，会看到网站上下文并能判断偏见；而 LLM 会剥离这些上下文，并把一切重新包装成中立的专业知识。

发布虚假统计数据的伦理问题

  • 关于这项实验的道德性，争议非常大：
    • 批评者称其为撒谎、对人类有敌意，并类似于为了“证明”一个众所周知的漏洞而破坏信息生态。
    • 支持者认为，至少一个公开、记录充分的案例有助于揭示问题的规模。
    • 少数人更进一步，公开支持“污染网络”以削弱 AI 系统，即便会接受附带损害。

潜在缓解措施与局限

  • 提出的修复方案包括：
    • 使用经过筛选、可信度高的训练语料，并避免开放网络搜索。
    • 直接连接官方数据源（例如统计机构、软件文档）。
    • 更好的来源质量评分、类似 PageRank 的加权、来源溯源，以及带可追踪出处的 RAG。
    • 检测由 LLM 生成的文本，不过许多人认为这会演变成对抗性的军备竞赛。

更广泛的社会影响与激励机制

  • 有人将其视为“知识柠檬市场”的一部分：激励机制偏向作弊和误导。
  • 对监管的看法两极分化：从呼吁更强的欺诈/消费者保护执法，到担心政府会裁定“真相”。
  • 一些人预测，网络信息的信任度会下降，人们会重新强调怀疑性阅读、可信机构，甚至更多面对面互动。