Publiqué en HN, y luego mi sitio web se inundó con tráfico de bots de IA
Publicar un enlace en Hacker News ahora a menudo desencadena un aumento de tráfico automatizado, desde scrapers agresivos impulsados por IA hasta escáneres genéricos de vulnerabilidades, que pueden abrumar a los sitios pequeños y distorsionar la analítica o incluso generar grandes facturas en la nube. Los comentaristas intercambian tácticas —bloquear ASNs de proveedores cloud, CAPTCHAs como Cloudflare Turnstile, tarpits, proof-of-work, basic auth, listas de permiso por geolocalización y alojamiento estático— al tiempo que señalan que las sofisticadas botnets residenciales y los navegadores headless hacen que las soluciones técnicas permanentes sean esquivas. Muchos prevén que esta tendencia empuje más contenido detrás de inicios de sesión o jardines vallados, aumentando la preocupación por la apertura y la usabilidad futuras de la web.
Exposición en HN y enjambres de bots
- Varios comentaristas informan que el simple hecho de publicar en HN (incluso sin llegar a la portada) desencadena grandes picos de tráfico automatizado.
- El tráfico a menudo supera con creces las visitas legítimas de usuarios y continúa durante meses después de una sola publicación.
- Algunos señalan que el volumen de solicitudes está dentro de lo que los servidores modernos pueden manejar técnicamente, pero aun así causa ralentizaciones, caídas o facturas enormes cuando impacta rutas dinámicas o mal cacheadas.
Naturaleza del ecosistema actual de bots
- Mezcla de:
- “Radiación de fondo de Internet” clásica: escaneos de vulnerabilidades, sondeos de WordPress/PHP, wp-content/phpinfo.php, etc.
- Scrapers alojados en la nube de AWS, GCP, Azure, Alibaba, Oracle, Meta, Apple y otros.
- Rastreadores relacionados con IA/LLM y servicios de “boletines de IA”/monitorización de cambios que consultan con demasiada frecuencia.
- Botnets de proxies residenciales y VPNs de consumo, lo que hace que el bloqueo basado en IP y fail2ban sean mucho menos eficaces.
- Algunos bots ignoran robots.txt o nofollow, y siguen reintentando URLs muertas hace mucho tiempo durante años.
Estrategias de mitigación y compensaciones
- Bloqueo intensivo: por ASN (nubes), listas de अनुमति GeoIP, listas de bloqueo de AbuseIPDB, URLs de blackhole/“trampa”, o enrutamiento blackhole en el borde de la red.
- Desafíos y CAPTCHAs: Cloudflare Turnstile, trabajo JavaScript al estilo Anubis, proof-of-work, proxies L7 personalizados y tarpits que ralentizan deliberadamente las respuestas.
- Defensas más simples: basic auth en todo salvo la página principal, preguntas de verificación, limitación de tasa, fail2ban/ipsets.
- Muchos informan que los bots avanzados ahora usan navegadores reales/Chrome sin interfaz y derrotan CAPTCHAs y Turnstile.
- Varios concluyen que la carrera armamentista es imposible de ganar y, en su lugar, se enfocan en optimizaciones de rendimiento, contenido estático, CDNs y restringir las funciones dinámicas a usuarios autenticados.
Impacto en hosting, costes y analítica
- Informes de facturas de nube de varios miles de dólares y altos costes de salida por scraping agresivo.
- Algunos autohospedadores bloquean grandes nubes pese al daño colateral a usuarios legítimos detrás de VPNs corporativas.
- La analítica y los registros se describen como “inútiles” o fuertemente contaminados; algunos usan LLMs para encontrar patrones y clasificar tráfico malo.
Debate sobre bots de LLM/búsqueda y el futuro de la web
- Algunos ven valor en los referidores de LLM, afirmando que ChatGPT se está convirtiendo en una de las principales fuentes de tráfico y genera usuarios muy comprometidos.
- Otros argumentan que estos sistemas buscan mantener a los usuarios alejados de los sitios, aportando poco valor a los propietarios del contenido.
- Varios predicen un movimiento creciente hacia jardines vallados, requisitos estrictos de identidad o redes al estilo web-of-trust a medida que la web abierta y anónima se deteriora bajo la presión de los bots.