API de Pesquisa na Web

Artigo original ↗ Discussão no Hacker News ↗

A nova Web Search API da Cloudflare, que revende busca de provedores como Ceramic, Exa e Linkup para agentes de IA, está levantando dúvidas sobre se ela agrega valor suficiente em comparação com integrar esses serviços diretamente. Os defensores apontam para faturamento, aquisição e integração mais simples para organizações já padronizadas em Cloudflare, enquanto os críticos se preocupam com dependência de fornecedor, o papel crescente da Cloudflare como guardiã da internet e possíveis implicações antitruste ou de privacidade, dadas as preocupações com bloqueio de bots e compartilhamento de inteligência. O debate também compara preço e qualidade com alternativas como Brave, Kagi, Serper, SearXNG e scrapers auto-hospedados, destacando que uma busca na web confiável e barata para LLMs continua sendo um problema difícil e muitas vezes caro.

Proposta de Valor da Web Search API da Cloudflare

  • Muitos a veem como uma camada de conveniência: integração única, faturamento, limites e failover entre vários provedores de busca, especialmente para organizações que já padronizam em Cloudflare.
  • Outros argumentam que agentes de código e o uso direto de API tornam essa abstração desnecessária, e a veem como mais uma tentativa de “ficar no meio” e extrair renda.
  • Para usuários existentes de Workers/Pages, o apelo é acesso de baixa latência, no mesmo ecossistema, à busca para agentes sem adicionar fornecedores.

Preocupações com Confiança, Centralização e Poder

  • Alguns comentaristas confiam na Cloudflare como “infraestrutura neutra” com forte engenharia; outros destacam relatos de pressão para vender mais e para fazer upgrade, além de interrupções ligadas a sistemas de faturamento/risco.
  • Há um debate prolongado sobre a exposição da Cloudflare e de outros provedores de nuvem dos EUA à vigilância (FISA/702, NSA).
    • Um lado: todo mundo vaza metadados de qualquer forma, então a Cloudflare não é especialmente ruim.
    • Outro lado: usar um MITM que termina TLS, como a Cloudflare, aumenta a superfície de ataque e de vigilância além de uma simples hospedagem.

Bots, Crawlers e Controle de Acesso

  • Há preocupação de que a Cloudflare esteja tanto vendendo proteção contra bots quanto monetizando o acesso por meio de “verified bots” e agora APIs de busca.
  • Alguns temem um padrão anticompetitivo: bloquear/dificultar crawlers genéricos, legitimar/monetizar os “verified” e depois cobrar pelo acesso.
  • Outros respondem que crawlers confiáveis e “verified bots” são diferentes de scrapers abusivos e que os operadores ainda controlam o que bloquear.

Provedores, Preço e Qualidade

  • Os provedores subjacentes (Ceramic, Exa, Linkup) têm faixas de preço muito diferentes ($0,25–$7 por 1.000 requisições), o que levanta dúvidas sobre qualidade versus custo.
  • Há relatos de que alguns provedores de busca “AI-first” retornam resultados ruins ou desatualizados; um usuário descobriu que o Ceramic nem conseguia encontrar seu próprio domínio ou documentos recentes da Cloudflare.
  • Foram compartilhados links para benchmarks de terceiros comparando APIs de busca na web; a qualidade da busca é vista como altamente dependente do caso de uso.

Retenção Zero de Dados e Termos de Uso

  • Há confusão sobre “Zero Data Retention”: a Cloudflare a anuncia, mas a documentação dos provedores às vezes diz o contrário ou cobra extra por ZDR; uma entrada do Exa é marcada como “No ZDR”.
  • Comentários observam que, mesmo com ZDR no provedor, as requisições ainda aparecem nos logs do Cloudflare Gateway.
  • Vários estão preocupados com ToS rígidos de provedores (especialmente Ceramic) que proíbem armazenar, agregar ou redistribuir resultados, limitando transcrições de agentes e caches de longa duração.

Alternativas e Abordagens DIY

  • Alternativas mencionadas: Brave Search API, Kagi, Serper, SearXNG, Firecrawl auto-hospedado, Jina, serviços no estilo SerpAPI e busca do Gemini Flash Lite 2.5 (vista como econômica, mas sendo limitada/depreciada em alguns lugares).
  • Alguns executam gateways locais ou auto-hospedados (por exemplo, SearXNG, hister) para evitar dependência de fornecedor e restrições de ToS, aceitando mais configuração em troca de controle.