Web Search API

原文 ↗ Hacker News 讨论 ↗

Cloudflare 新推出的 Web Search API 将 Ceramic、Exa 和 Linkup 等提供商的搜索服务转售给 AI 代理，这引发了人们对它相比直接集成这些服务是否能带来足够价值的质疑。支持者认为，对于已经标准化使用 Cloudflare 的组织来说，它简化了计费、采购和集成；批评者则担心供应商锁定、Cloudflare 作为互联网把关者角色不断增强，以及围绕其机器人拦截和情报共享争议带来的潜在反垄断或隐私影响。讨论串还将其与 Brave、Kagi、Serper、SearXNG 以及自托管抓取器等替代方案在定价和质量上进行了比较，强调对 LLM 来说，可靠且负担得起的 Web 搜索仍然是一个困难且往往昂贵的问题。

Cloudflare 的 Web Search API 的价值主张

  • 许多人把它看作一层便利封装：单一集成、统一计费、限额和故障切换，覆盖多个搜索提供商，尤其适合那些已经标准化使用 Cloudflare 的组织。
  • 也有人认为，代码代理和直接使用 API 让这种抽象变得没有必要，并把它看作另一种试图“站在中间”抽取租金的做法。
  • 对于现有的 Workers/Pages 用户来说，其吸引力在于以低延迟、同一生态系统的方式为代理提供搜索能力，而无需再增加供应商。

信任、中心化与权力担忧

  • 一些评论者信任 Cloudflare，认为它是“中立基础设施”，且工程能力很强；另一些人则提到有关升级销售/施压升级以及与计费/风险系统相关的宕机报告。
  • 关于 Cloudflare 和其他美国云提供商在监控方面的暴露（FISA/702、NSA），有一场长时间的争论。
    • 一方观点：反正每个人都会泄露元数据，所以 Cloudflare 并没有特别糟糕。
    • 另一方观点：像 Cloudflare 这种终止 TLS 的 MITM 会把攻击面和监控面扩大到超出简单托管的程度。

机器人、爬虫与门槛控制

  • 有人担心 Cloudflare 一边销售机器人防护，一边又通过“verified bots”和现在的搜索 API 将访问货币化。
  • 有评论者担心一种反竞争模式：阻挡/阻挠通用爬虫，认可并变现“verified”爬虫，然后再对访问收费。
  • 也有人反驳说，信誉良好的爬虫和“verified bots”不同于滥用型抓取器，而运营者仍然可以控制要屏蔽什么。

提供商、定价与质量

  • 底层提供商（Ceramic、Exa、Linkup）的价格点差异很大（每 1,000 次请求 $0.25–$7），这引出了关于质量与成本的疑问。
  • 有报告称某些“AI-first”搜索提供商返回的结果很差或过时；有用户发现 Ceramic 甚至无法搜索到它自己的域名或最近的 Cloudflare 文档。
  • 线程中分享了比较 Web 搜索 API 的第三方基准链接；搜索质量被认为高度依赖具体使用场景。

零数据保留与使用条款

  • 对“Zero Data Retention”存在困惑：Cloudflare 宣传了这一点，但提供商文档有时却显示相反，或者对 ZDR 额外收费；其中一个 Exa 条目被标记为“No ZDR”。
  • 评论者指出，即使提供商侧是 ZDR，请求仍会出现在 Cloudflare Gateway 日志中。
  • 还有几个人担心提供商（尤其是 Ceramic）严格的 ToS，它们禁止存储、聚合或再分发结果，从而限制了代理转录和长期缓存。

替代方案与自建方案

  • 提到的替代方案包括：Brave Search API、Kagi、Serper、SearXNG、自托管 Firecrawl、Jina、类 SerpAPI 服务，以及 Gemini Flash Lite 2.5 搜索（被视为成本效益较高，但在某些地方受到限制/弃用）。
  • 一些人运行本地或自托管网关（例如 SearXNG、hister），以避免供应商锁定和 ToS 限制；他们接受更多配置工作，换取控制权。