Cloudflare CEO 在关于机器人流量激增的问题上对你撒谎

原文 ↗ Hacker News 讨论 ↗

Cloudflare CEO 关于机器人流量的说法与数据解读

  • 一些评论者认为，CEO 所谓“机器人流量超过人类流量”的说法具有误导性，因为所引用的仪表盘默认只统计 HTML 流量。
  • 当把“所有内容类型”都算上时，人类仍然产生大约两倍于机器人的流量，这削弱了“历史上第一次”的表述。
  • 也有人认为，只统计 HTML 请求是一个有依据的指标（更偏向页面浏览，且 HTML 是服务中成本更高的部分），但同意“agentic traffic”这一措辞被夸大了。
  • 对于这是否构成“撒谎”，还是只是炒作/沟通草率，意见不一。

机器人流量规模与现实影响

  • 多位网站运营者报告机器人流量大幅增加，有时机器人大约是人类的 100 倍，并且有单个 AI 爬虫占据大部分负载、接近 DDoS 的案例。
  • 报告涉及学术、新闻、政府、NGO 和个人网站，出现了大量抓取，其中很多无视 robots.txt 和缓存头。
  • 也有人表示自己的测量并未显示灾难性行为，并认为这些担忧可能被夸大，或是因网站而异。

Cloudflare 作为中间商、垄断与信任问题

  • 有强烈批评认为，Cloudflare 实际上是一个巨大的中间人，会解密流量、集中权力，并形成一个容易受国家压力影响的单点瓶颈。
  • 一些人认为客户通过采用 Cloudflare 作为 CDN、DDoS 防护和性能优化方案，“允许”了这种局面；另一些人则呼吁通过监管或竞争来降低集中化风险。
  • 支持者指出，Cloudflare 解决了真实问题（DDoS、机器人缓解、负载均衡），而根源在于机器人，而不是 Cloudflare。

机器人检测、指纹识别与连带伤害

  • 有人担心机器人防护厂商有动力扩大何为“机器人流量”的定义，容忍较高的误报率，并将指纹识别用于营销和监控。
  • 非主流浏览器、严格隐私配置，或位于 CGNAT/5G 后面的用户，常常会遇到恼人的挑战或被阻止。
  • 一些人认为 JavaScript 指纹识别是必要的权衡；另一些人则称其无效且不利于隐私。

替代方案与缓解策略

  • 评论者提到，基于 IP 和 ASN 的封禁、限流、HTTP/1.1 与 HTTP/2 启发式规则、国家封锁以及本地 WAF 工具，都可以作为 Cloudflare 的部分替代方案。
  • 还有几位指出，缺少易用、文档完善的替代方案，并建议更好的开源、本地部署的机器人检测工具将有助于减少对 Cloudflare 的依赖。