Un año luchando contra scrapers en mi sitio web de 1,5 millones de páginas

Artículo original ↗ Discusión en Hacker News ↗

Los editores web informan que la gran mayoría de su tráfico proviene ahora de bots, especialmente crawlers de IA y scrapers mal escritos, que pueden saturar el ancho de banda, distorsionar las analíticas e inflar las facturas de alojamiento sin devolver apenas o ningún tráfico humano. Los comentaristas describen una variedad de defensas, desde Cloudflare, geo-bloqueo y desafíos de proof‑of‑work hasta alojamiento estático y reglas agresivas de firewall, pero señalan que a menudo perjudican a los usuarios legítimos y centralizan aún más la web. En el fondo hay un conflicto más amplio entre preservar un internet abierto, legible por máquinas, y proteger a los sitios pequeños de ser prácticamente sometidos a DDoS y expoliados de datos sin compensación.

Escala y naturaleza del tráfico de bots

  • Muchos operadores informan que el 95–99,9% del tráfico son bots, especialmente crawlers de IA de grandes empresas estadounidenses y chinas y redes de proxies residenciales.
  • Los bots suelen comportarse mal: vuelven a rastrear páginas sin cambios, recorren calendarios infinitos, saturan endpoints costosos y buscan secretos (.env, claves, Dockerfiles).
  • Algunos sospechan que el reobtención repetida se debe a agentes mal escritos y a actitudes de “rastréalo todo” impulsadas por el capital de riesgo, no a consultas impulsadas por usuarios.

Impacto en sitios pequeños y en el alojamiento

  • Varios informan que sitios antes baratos de afición o de nicho se han vuelto insostenibles a medida que el ancho de banda y la carga de base de datos aumentan en órdenes de magnitud con poco o ningún ingreso.
  • Otros responden que un sitio estático bien construido o un sitio dinámico con caché eficiente en un VPS de 4–5 dólares puede soportar fácilmente los niveles actuales de bots; los problemas suelen ser stacks lentos o consultas de base de datos costosas.

Defensas y sus inconvenientes

  • Tácticas comunes:
    • CDN/WAF delante (Cloudflare y otros), incluidas nuevas funciones de “bloquear bots de IA” y pago por rastreo.
    • Geo-bloqueo o CAPTCHAs para ciertos países/ASN y proveedores de nube.
    • Sistemas de proof‑of‑work / desafíos de JavaScript (por ejemplo, Anubis), comprobaciones de cookies, heurísticas de cabeceras HTTP, fingerprinting TLS.
    • Mover el contenido detrás de inicios de sesión o muros de pago; pre-generar páginas estáticas.
  • Los sistemas de proof‑of‑work generan debate: los críticos muestran que se eluden trivialmente con solucionadores nativos/CUDA; los defensores dicen que siguen deteniendo a la gran mayoría de scrapers poco sofisticados y son menos molestos que los CAPTCHAs.
  • Los falsos positivos son reales: navegadores centrados en la privacidad, usuarios con JavaScript desactivado, usuarios de VPN y sistemas antiguos son bloqueados o ralentizados, a veces de forma permanente.

Centralización, web abierta y herramientas

  • La fuerte dependencia de Cloudflare y similares es vista por algunos como una protección necesaria; otros lo ven como convertir la web en jardines vallados controlados por unos pocos guardianes.
  • Algunos sostienen que el “contrato social” de la web incluye bots y agentes de usuario alternativos; otros dicen que ese contrato nunca cubrió el entrenamiento de LLM a gran escala.
  • Muchos señalan que los crawlers de IA envían un tráfico de referencia insignificante mientras extraen un gran valor, lo que impulsa llamados a cobrar o a imponer restricciones legales/técnicas más fuertes.
  • Se mencionan las señales de contenido de robots.txt y las reservas de copyright de la UE, pero su aplicabilidad real sigue sin estar clara.
  • Un patrón creciente: gente que cierra o desindexa sitios de afición, o solo tolera tráfico humano, incluso si eso implica aceptar cierta incomodidad para los usuarios.