El bugzilla de Gentoo cerró debido a la sobrecarga por rastreadores de bots de IA
El rastreo web agresivo —atribuido en gran medida al entrenamiento de IA y a botnets que usan proxies residenciales— está sobrecargando proyectos pequeños y mantenidos por voluntarios como Bugzilla de Gentoo hasta el punto de provocar cierres temporales. Los comentaristas evalúan defensas técnicas (Cloudflare, segregación de bots, barreras de prueba de trabajo, micropagos, muros de pago con minería de cripto) frente a enfoques legales y económicos como regular los servicios de proxies residenciales o exigir a los indexadores que paguen, señalando que muchas soluciones propuestas o bien trasladan costes a usuarios legítimos o bien centralizan la web abierta detrás de grandes intermediarios.
Fuentes y comportamiento de los rastreadores
- Muchos comentarios vinculan la sobrecarga de Bugzilla con el rastreo web a gran escala, a menudo atribuido al entrenamiento de IA, aunque existe incertidumbre sobre los actores concretos.
- Algunos dicen que las grandes empresas de IA publican rangos de IP y son relativamente “bien portadas”; otros sostienen que también pueden usar métodos opacos o comprar conjuntos de datos dudosos, así que no quedan exentas.
- Se dice que gran parte del tráfico abusivo proviene de proxies residenciales y de ciertos ASN en Asia; esto dificulta la atribución y el bloqueo.
- Los rastreadores se describen como a menudo “tontos” (reconsultando los mismos endpoints, perdiéndose en bosques de enlaces), pero aun así intensivos en recursos.
- Varios señalan que, a estas alturas, “rastrean todo”, independientemente de su valor evidente.
IPv4/IPv6 e incentivos de infraestructura
- Algunos especulan que los bots de IA se inclinan hacia infraestructura cloud IPv4, mientras que el tráfico IPv6 puede ser más “orgánico”, pero otros informan que las VPS cloud con IPv6 son comunes.
- Se ve a los proveedores de cloud como financieramente incentivados a no frenar el rastreo abusivo, ya que obtienen beneficio tanto de los rastreadores como del escalado defensivo.
Estrategias de mitigación y sus límites
- Entre las sugerencias están poner Cloudflare delante, backends específicos para bots, enrutamiento cuidadoso basado en UA/IP, volcado estático y autenticación básica para rastreadores de bugs públicos.
- Los escépticos señalan que Gentoo funciona con voluntarios y un presupuesto muy pequeño, así que añadir complejidad no es trivial. Un rastreador de incidencias es intrínsecamente dinámico y más difícil de cachear.
- Algunos argumentan que un buen diseño de caché y contenido estático puede soportar picos de rastreadores; otros apuntan a muchos incidentes recientes en proyectos importantes como prueba de que esto no es trivial.
Micropagos, prueba de trabajo y barreras con cripto
- Propuestas: micropagos por solicitud, prueba de trabajo en el navegador, barreras de minería de cripto o capas de pago estilo HTTP 402.
- Quienes las apoyan dicen que comisiones minúsculas podrían disuadir a los bots, alinear incentivos y financiar el alojamiento.
- Los críticos destacan: barreras de acceso para usuarios de bajos ingresos, fricción de pago, sobrecoste de comisiones, problemas de privacidad y poca tolerancia de los usuarios a más latencia.
Ley, responsabilidad y la web del futuro
- Algunos sostienen que esto es fundamentalmente un asunto legal (el DDoS y el abuso ya son ilegales) y piden aplicar la ley contra proveedores de proxies residenciales e intermediarios.
- Otros subrayan los límites jurisdiccionales: muchos operadores están en el extranjero, fuera del alcance práctico.
- Varios temen que el rastreo omnipresente más “soluciones” como Cloudflare, barreras de identidad o muros de pago empujen a la web aún más hacia modelos centralizados de jardín vallado.