Una actualización sobre proxies residenciales y la situación del scraping

Artículo original ↗ Discusión en Hacker News ↗

Las redes de proxies residenciales y los scrapers web agresivos están saturando muchos sitios web independientes, a medida que el tráfico antes dominado por motores de búsqueda y archivos ahora está cada vez más impulsado por IA hambrienta de datos y por rastreadores mal escritos. Los comentaristas debaten qué, en su caso, debería hacerse ilegal, cuán poco control tienen los usuarios finales cuando las aplicaciones convierten en silencio sus dispositivos en nodos proxy, y lo difícil que resulta bloquear el abuso sin expulsar a lectores legítimos, especialmente cuando los bots se esconden tras IPs residenciales e ignoran robots.txt. Las respuestas propuestas van desde barreras de prueba de trabajo, conjuntos de datos compartidos como Common Crawl y micropagos, hasta una aplicación más estricta en las tiendas de apps y la monitorización a nivel de red, pero no hay consenso sobre una solución que preserve tanto una web abierta como la capacidad de los operadores de sitios para seguir en línea.

Proxies residenciales y legalidad

  • Muchos ven los proxies residenciales como “botnets a plena vista”: SDKs en aplicaciones gratuitas, VPNs y cajas multimedia convierten silenciosamente los dispositivos de los usuarios en nodos de salida.
  • Disputa sobre la legalidad: algunos argumentan que no es claramente ilegal sin prohibiciones explícitas sobre esos SDKs; otros dicen que no hay consentimiento informado y que debería tratarse como algo parecido a malware.
  • Debate sobre si las prohibiciones en tiendas de aplicaciones (p. ej., sobre SDKs como el de NetNut) son medidas de seguridad legítimas o abuso de monopolio.

Intensidad e impacto del scraping

  • La queja principal: un scraping masivo y mal comportado sobrecarga los sitios, especialmente los endpoints dinámicos (búsqueda, diffs, listas paginadas), actuando de hecho como DDoS.
  • Los proxies residenciales junto con la rotación rápida de IP hacen que el bloqueo basado en IP sea ineficaz y arriesga daños colaterales a usuarios inocentes.
  • Algunos creen que esto está impulsado en gran medida por la demanda de entrenamiento de IA; otros sostienen que parece más tráfico genérico o incluso malicioso, no una recopilación racional de datos.

Crawls compartidos y acceso a datos

  • Varios proponen un “mejor Common Crawl” o archivos descargables por sitio/ZIPs para que los scrapers no tengan que martillear los sitios.
  • Contraargumento: los proyectos que ya publican volcados completos y gratuitos (Wikipedia, OpenStreetMap, etc.) siguen siendo objeto de scraping intensivo; muchos bots ignoran estos canales.
  • Contribuidores de Common Crawl señalan que los conjuntos de datos son grandes pero accesibles, con índices y lógica de recrawling; su uso es significativo pero no ubicuo.

Envenenamiento y calidad de los datos

  • Una comunidad intenta activamente “envenenar” los datos de entrenamiento de scrapers/LLM.
  • Los críticos dicen que esto es en gran medida simbólico: la web ya es ruidosa, y el filtrado sencillo y la verificación cruzada pueden neutralizar en gran medida esos esfuerzos.

Mitigaciones: PoW, captchas y paywalls

  • Los sistemas de prueba de trabajo (p. ej., Anubis) son vistos por algunos como la defensa menos mala, preferible a los captchas y compatible con HTTP sin estado.
  • Otros informan de problemas de usabilidad, preocupaciones de privacidad, y argumentan que PoW no escala: los atacantes pueden ejecutar código nativo optimizado o aprovechar botnets; los navegadores están en desventaja.
  • Surgieron ideas: HTTP 402 con pagos por solicitud (posiblemente vía Lightning), niveles de tasa basados en karma/identidad, o micropagos a nivel de sitio. El escepticismo se centra en la fricción, la economía y la regulación.

Tensiones de la web abierta

  • Temor a que las medidas anti-scraping perjudiquen la web abierta, bloqueen crawlers/archivadores benignos y consoliden a los actores dominantes (Google, Cloudflare).
  • Algunos elogian los proxies residenciales como herramientas para acceder a datos detrás de muros corporativos; otros los llaman una plaga poco fiable que socava a los sitios pequeños.

Tácticas operativas y defensas locales

  • Los operadores discuten firewalls, compartición de listas negras, configuraciones tipo fail2ban y monitorización del tráfico en routers domésticos para detectar dispositivos IoT comprometidos.
  • El bloqueo por rangos de IP funciona mejor en IPv6 al bloquear prefijos más grandes, pero el CGNAT generalizado y la rotación de proxies complican la atribución y la equidad.