API de Búsqueda Web

Artículo original ↗ Discusión en Hacker News ↗

La nueva API de Búsqueda Web de Cloudflare, que revende búsqueda de proveedores como Ceramic, Exa y Linkup para agentes de IA, está generando dudas sobre si aporta suficiente valor frente a integrarse directamente con esos servicios. Quienes la apoyan destacan la facilidad de facturación, compras e integración para organizaciones ya estandarizadas en Cloudflare, mientras que los críticos se preocupan por el bloqueo por proveedor, el papel cada vez mayor de Cloudflare como guardián de Internet y las posibles implicaciones antimonopolio o de privacidad, dadas sus preocupaciones sobre el bloqueo de bots y el intercambio de inteligencia. El hilo también compara precios y calidad con alternativas como Brave, Kagi, Serper, SearXNG y scrapers autoalojados, destacando que una búsqueda web fiable y asequible para LLMs sigue siendo un problema difícil y a menudo caro.

Propuesta de valor de la API de Búsqueda Web de Cloudflare

  • Muchos la ven como una capa de conveniencia: una sola integración, facturación, límites y conmutación por error entre varios proveedores de búsqueda, especialmente para organizaciones que ya estandarizan en Cloudflare.
  • Otros sostienen que los agentes de código y el uso directo de la API hacen innecesaria esta abstracción, y la ven como otro intento de “ponerse en medio” y extraer rentas.
  • Para los usuarios existentes de Workers/Pages, el atractivo es el acceso de baja latencia, dentro del mismo ecosistema, a la búsqueda para agentes sin añadir proveedores.

Preocupaciones sobre confianza, centralización y poder

  • Algunos comentaristas confían en Cloudflare como “infraestructura neutral” con gran ingeniería; otros señalan informes de ventas adicionales/presión para subir de plan y caídas vinculadas a sistemas de facturación/riesgo.
  • Hay un debate amplio sobre la exposición de Cloudflare y de otros proveedores de nube de EE. UU. a la vigilancia (FISA/702, NSA).
    • Un lado: todo el mundo filtra metadatos de todos modos, así que Cloudflare no es especialmente malo.
    • El otro lado: usar un MITM que termina TLS como Cloudflare aumenta la superficie de ataque y de vigilancia más allá del simple alojamiento.

Bots, rastreadores y control de acceso

  • Preocupa que Cloudflare esté a la vez vendiendo protección contra bots y monetizando el acceso mediante “bots verificados” y, ahora, APIs de búsqueda.
  • Algunos temen un patrón anticompetitivo: bloquear/dificultar rastreadores genéricos, bendecir/monetizar los “verificados” y luego cobrar por el acceso.
  • Otros responden que los rastreadores reputados y los “bots verificados” son distintos de los scrapers abusivos y que los operadores siguen controlando qué bloquear.

Proveedores, precios y calidad

  • Los proveedores subyacentes (Ceramic, Exa, Linkup) tienen puntos de precio muy distintos ($0.25–$7 por 1,000 solicitudes), lo que plantea dudas sobre calidad frente a coste.
  • Hay informes de que algunos proveedores de búsqueda “AI-first” devuelven resultados pobres o desactualizados; un usuario encontró que Ceramic ni siquiera podía encontrar su propio dominio ni documentación reciente de Cloudflare.
  • Se compartieron enlaces a comparativas de terceros entre APIs de búsqueda web; la calidad de la búsqueda se considera altamente dependiente del caso de uso.

Retención cero de datos y términos de uso

  • Hay confusión sobre “Zero Data Retention”: Cloudflare lo anuncia, pero la documentación de los proveedores a veces dice lo contrario o cobra extra por ZDR; una entrada de Exa se marca como “No ZDR”.
  • Los comentaristas señalan que incluso con ZDR en el proveedor, las solicitudes siguen apareciendo en los registros de Cloudflare Gateway.
  • Varios están preocupados por los estrictos ToS de los proveedores (especialmente Ceramic), que prohíben almacenar, agregar o volver a sindicar resultados, limitando transcripciones de agentes y cachés de larga duración.

Alternativas y enfoques DIY

  • Alternativas mencionadas: Brave Search API, Kagi, Serper, SearXNG, Firecrawl autoalojado, Jina, servicios tipo SerpAPI y la búsqueda de Gemini Flash Lite 2.5 (vista como rentable pero restringida/descontinuada en algunos lugares).
  • Algunos ejecutan pasarelas locales o autoalojadas (por ejemplo, SearXNG, hister) para evitar el bloqueo por proveedor y las restricciones de ToS, aceptando más configuración a cambio de control.