Postei no HN, e então meu site foi inundado por tráfego de bots de IA
Postar um link no Hacker News agora muitas vezes dispara uma onda de tráfego automatizado, de scrapers agressivos movidos por IA a varredores genéricos de vulnerabilidades, que pode sobrecarregar pequenos sites e distorcer análises ou até gerar contas altas de nuvem. Os comentaristas trocam táticas — bloqueio de ASNs de provedores de nuvem, CAPTCHAs como Cloudflare Turnstile, tarpits, proof-of-work, autenticação básica, listas de permissão geográficas e hospedagem estática — ao mesmo tempo em que observam que botnets residenciais sofisticados e navegadores headless tornam ilusórias as correções técnicas permanentes. Muitos preveem que essa tendência empurrará mais conteúdo para trás de logins ou jardins murados, levantando preocupações sobre a abertura e a usabilidade futuras da web.
Exposição no HN e enxames de bots
- Vários comentaristas relatam que simplesmente postar no HN (mesmo sem chegar à página principal) dispara grandes picos de tráfego automatizado.
- O tráfego muitas vezes supera de longe as visitas legítimas de usuários e continua por meses após uma única postagem.
- Alguns observam que o volume de requisições está dentro do que servidores modernos conseguem tecnicamente suportar, mas ainda assim causa lentidão, quedas ou contas altas quando atinge caminhos dinâmicos ou mal armazenados em cache.
Natureza do ecossistema atual de bots
- Mistura de:
- “Radiação de fundo da internet” clássica: varreduras de vulnerabilidades, sondas de WordPress/PHP, wp-content/phpinfo.php etc.
- Scrapers hospedados na nuvem de AWS, GCP, Azure, Alibaba, Oracle, Meta, Apple e outros.
- Crawlers relacionados a IA/LLM e serviços de “newsletter de IA”/monitoramento de mudanças, consultando com frequência muito alta.
- Botnets de proxies residenciais e VPNs de consumidor, tornando o bloqueio por IP e o fail2ban muito menos eficazes.
- Alguns bots ignoram robots.txt ou nofollow e continuam rebatendo em URLs há muito mortas por anos.
Estratégias de mitigação e trade-offs
- Bloqueio pesado: por ASN (nuvens), listas de अनुमति GeoIP, blocklists do AbuseIPDB, URLs blackhole/“trap” ou roteamento blackhole na borda da rede.
- Desafios e CAPTCHAs: Cloudflare Turnstile, trabalho de JS no estilo Anubis, proof-of-work, proxies L7 personalizados e tarpits que atrasam deliberadamente as respostas.
- Defesas mais simples: autenticação básica em tudo exceto a página inicial, perguntas de verificação, limitação de taxa, fail2ban/ipsets.
- Muitos relatam que bots avançados agora usam navegadores reais/Chrome headless e derrotam CAPTCHAs e Turnstile.
- Vários concluem que a corrida armamentista é impossível de vencer e, em vez disso, focam em otimizações de desempenho, conteúdo estático, CDNs e restringir recursos dinâmicos a usuários autenticados.
Impacto em hospedagem, custos e análise
- Há relatos de contas de nuvem de vários milhares de dólares e altos custos de egress devido a scraping agressivo.
- Alguns que hospedam por conta própria bloqueiam grandes nuvens apesar do dano colateral a usuários legítimos atrás de VPNs corporativas.
- Análises e logs são descritos como “inúteis” ou fortemente poluídos; alguns usam LLMs para encontrar padrões e classificar tráfego ruim.
Debate sobre bots de LLM/pesquisa e o futuro da web
- Alguns veem valor em referências de LLM, afirmando que o ChatGPT está se tornando uma das principais fontes de tráfego e gera usuários muito engajados.
- Outros argumentam que esses sistemas visam manter os usuários longe dos sites, oferecendo pouco valor para os proprietários de conteúdo.
- Vários preveem um movimento crescente para jardins murados, requisitos rígidos de identidade ou redes no estilo web-of-trust à medida que a web aberta e anônima se deteriora sob a pressão dos bots.