Una actualización sobre proxies residenciales y la situación del scraping

Artículo original ↗ Discusión en Hacker News ↗

Proxies residenciales y legalidad

  • Muchos ven los proxies residenciales como “botnets a plena vista”: SDKs en aplicaciones gratuitas, VPNs y cajas multimedia convierten silenciosamente los dispositivos de los usuarios en nodos de salida.
  • Disputa sobre la legalidad: algunos argumentan que no es claramente ilegal sin prohibiciones explícitas sobre esos SDKs; otros dicen que no hay consentimiento informado y que debería tratarse como algo parecido a malware.
  • Debate sobre si las prohibiciones en tiendas de aplicaciones (p. ej., sobre SDKs como el de NetNut) son medidas de seguridad legítimas o abuso de monopolio.

Intensidad e impacto del scraping

  • La queja principal: un scraping masivo y mal comportado sobrecarga los sitios, especialmente los endpoints dinámicos (búsqueda, diffs, listas paginadas), actuando de hecho como DDoS.
  • Los proxies residenciales junto con la rotación rápida de IP hacen que el bloqueo basado en IP sea ineficaz y arriesga daños colaterales a usuarios inocentes.
  • Algunos creen que esto está impulsado en gran medida por la demanda de entrenamiento de IA; otros sostienen que parece más tráfico genérico o incluso malicioso, no una recopilación racional de datos.

Crawls compartidos y acceso a datos

  • Varios proponen un “mejor Common Crawl” o archivos descargables por sitio/ZIPs para que los scrapers no tengan que martillear los sitios.
  • Contraargumento: los proyectos que ya publican volcados completos y gratuitos (Wikipedia, OpenStreetMap, etc.) siguen siendo objeto de scraping intensivo; muchos bots ignoran estos canales.
  • Contribuidores de Common Crawl señalan que los conjuntos de datos son grandes pero accesibles, con índices y lógica de recrawling; su uso es significativo pero no ubicuo.

Envenenamiento y calidad de los datos

  • Una comunidad intenta activamente “envenenar” los datos de entrenamiento de scrapers/LLM.
  • Los críticos dicen que esto es en gran medida simbólico: la web ya es ruidosa, y el filtrado sencillo y la verificación cruzada pueden neutralizar en gran medida esos esfuerzos.

Mitigaciones: PoW, captchas y paywalls

  • Los sistemas de prueba de trabajo (p. ej., Anubis) son vistos por algunos como la defensa menos mala, preferible a los captchas y compatible con HTTP sin estado.
  • Otros informan de problemas de usabilidad, preocupaciones de privacidad, y argumentan que PoW no escala: los atacantes pueden ejecutar código nativo optimizado o aprovechar botnets; los navegadores están en desventaja.
  • Surgieron ideas: HTTP 402 con pagos por solicitud (posiblemente vía Lightning), niveles de tasa basados en karma/identidad, o micropagos a nivel de sitio. El escepticismo se centra en la fricción, la economía y la regulación.

Tensiones de la web abierta

  • Temor a que las medidas anti-scraping perjudiquen la web abierta, bloqueen crawlers/archivadores benignos y consoliden a los actores dominantes (Google, Cloudflare).
  • Algunos elogian los proxies residenciales como herramientas para acceder a datos detrás de muros corporativos; otros los llaman una plaga poco fiable que socava a los sitios pequeños.

Tácticas operativas y defensas locales

  • Los operadores discuten firewalls, compartición de listas negras, configuraciones tipo fail2ban y monitorización del tráfico en routers domésticos para detectar dispositivos IoT comprometidos.
  • El bloqueo por rangos de IP funciona mejor en IPv6 al bloquear prefijos más grandes, pero el CGNAT generalizado y la rotación de proxies complican la atribución y la equidad.