Uma atualização sobre proxies residenciais e a situação dos scrapers

Proxies residenciais e legalidade

• Muitos veem proxies residenciais como “botnets à vista de todos”: SDKs em apps gratuitos, VPNs e caixas de mídia transformam discretamente dispositivos de usuários em nós de saída.
• Há disputa sobre a legalidade: alguns argumentam que não é claramente ilegal sem proibições explícitas desses SDKs; outros dizem que não há consentimento informado e que isso deveria ser tratado como algo semelhante a malware.
• Debate sobre se proibições em lojas de apps (por exemplo, em SDKs como o da NetNut) são medidas legítimas de segurança ou abuso de monopólio.

Intensidade do scraping e impacto

• A principal reclamação: scraping massivo e mal comportado sobrecarrega sites, especialmente endpoints dinâmicos (busca, diffs, listas paginadas), funcionando efetivamente como DDoS.
• Proxies residenciais, somados à rotação rápida de IPs, tornam ineficaz o bloqueio baseado em IP e aumentam o risco de danos colaterais a usuários inocentes.
• Alguns acham que isso é em grande parte impulsionado pela demanda de treinamento de IA; outros argumentam que parece mais tráfego genérico ou até malicioso, não coleta racional de dados.

Crawls compartilhados e acesso a dados

• Vários propõem um “Common Crawl melhor” ou arquivos/ZIPs baixáveis por site, para que scrapers não precisem martelar os sites.
• Contraponto: projetos que já publicam dumps completos e gratuitos (Wikipedia, OpenStreetMap etc.) ainda são fortemente raspados; muitos bots ignoram esses canais.
• Contribuidores do Common Crawl observam que os conjuntos de dados são grandes, mas acessíveis, com índices e lógica de recrawl; o uso é relevante, mas não onipresente.

Envenenamento e qualidade de dados

• Uma comunidade tenta ativamente “envenenar” dados de treinamento de scrapers/LLMs.
• Críticos dizem que isso é sobretudo simbólico: a web já é ruidosa, e filtragem simples e checagem cruzada podem neutralizar em grande parte esses esforços.

Mitigações: PoW, captchas e paywalls

• Sistemas de prova de trabalho (por exemplo, Anubis) são vistos por alguns como a defesa menos ruim, preferível a captchas e compatível com HTTP sem estado.
• Outros relatam problemas de usabilidade, preocupações com privacidade e argumentam que PoW não escala: atacantes podem rodar código nativo otimizado ou aproveitar botnets; navegadores ficam em desvantagem.
• Ideias levantadas: HTTP 402 com pagamentos por requisição (possivelmente via Lightning), faixas de taxa baseadas em karma/identidade, ou micropagamentos em todo o site. O ceticismo se concentra em atrito, economia e regulação.

Tensões da web aberta

• Há o temor de que medidas anti-scraping prejudiquem a web aberta, bloqueiem crawlers/arquivadores benignos e consolidem players dominantes (Google, Cloudflare).
• Alguns elogiam proxies residenciais como ferramentas para acessar dados atrás de muros corporativos; outros os chamam de uma praga pouco confiável que mina sites pequenos.

Táticas operacionais e defesas locais

• Operadores discutem firewalls, compartilhamento de listas negras, configurações parecidas com fail2ban e monitoramento de tráfego em roteadores domésticos para identificar dispositivos IoT comprometidos.
• O bloqueio por faixas de IP funciona melhor em IPv6 ao bloquear prefixos maiores, mas a ampla adoção de CGNAT e a rotatividade de proxies complicam a atribuição e a justiça.