मेरी 1.5 मिलियन-पेज वाली वेबसाइट पर स्क्रैपर्स से लड़ते हुए एक साल

मूल लेख ↗ Hacker News चर्चा ↗

वेब प्रकाशक रिपोर्ट करते हैं कि उनके ट्रैफ़िक का विशाल बहुमत अब बॉट्स से आता है—खासकर AI crawlers और खराब लिखे गए scrapers—जो bandwidth को भर सकते हैं, analytics को विकृत कर सकते हैं, और hosting bills बढ़ा सकते हैं, जबकि बदले में बहुत कम या कोई human traffic नहीं भेजते। टिप्पणीकार Cloudflare, geo-blocking और proof-of-work challenges से लेकर static hosting और aggressive firewall rules तक कई रक्षा उपायों का वर्णन करते हैं, लेकिन ध्यान दिलाते हैं कि ये अक्सर वैध उपयोगकर्ताओं को नुकसान पहुँचाते हैं और वेब को और अधिक केंद्रीकृत करते हैं। इसके पीछे एक बड़ा टकराव है: खुले, machine-readable इंटरनेट को बनाए रखना बनाम छोटी साइटों को बिना compensation के effectively DDoS और data-mine होने से बचाना।

बॉट ट्रैफ़िक का पैमाना और प्रकृति

  • कई संचालक रिपोर्ट करते हैं कि उनके ट्रैफ़िक का 95–99.9% बॉट्स से आता है, खासकर प्रमुख अमेरिकी और चीनी कंपनियों तथा रेज़िडेंशियल प्रॉक्सी नेटवर्क के AI क्रॉलर।
  • बॉट अक्सर खराब व्यवहार करते हैं: बिना बदले पेजों को दोबारा स्क्रैप करना, अनंत कैलेंडरों में घूमना, महंगे एंडपॉइंट्स पर लगातार प्रहार करना, रहस्यों (.env, keys, Dockerfiles) की खोज करना।
  • कुछ लोगों को संदेह है कि बार-बार refetching खराब लिखे गए agents और VC-प्रेरित “सब कुछ स्क्रैप करो” वाले रवैये के कारण हो रहा है, न कि user-driven queries के कारण।

छोटी साइटों और होस्टिंग पर असर

  • कई लोगों के अनुसार, पहले सस्ते hobby या niche sites अब टिकाऊ नहीं रह गए हैं, क्योंकि bandwidth और database load बिना किसी या बहुत कम revenue के orders of magnitude तक बढ़ गए हैं।
  • अन्य लोग कहते हैं कि एक अच्छी तरह बनाई गई static या efficiently cached dynamic site, $4–5 VPS पर, मौजूदा bot levels को आसानी से संभाल सकती है; समस्याएँ अक्सर धीमे stacks या महंगे DB queries में होती हैं।

रक्षाएँ और उनके tradeoffs

  • आम tactics:
    • सामने CDN/WAF (Cloudflare आदि), जिसमें नए “block AI bots” और pay‑per‑crawl फीचर्स शामिल हैं।
    • कुछ देशों/ASNs और cloud providers के लिए geo-blocking या CAPTCHAs।
    • proof‑of‑work / JavaScript challenges (जैसे Anubis), cookie checks, HTTP header heuristics, TLS fingerprinting।
    • content को logins या paywalls के पीछे ले जाना; static pages पहले से generate करना।
  • proof‑of‑work systems पर बहस छिड़ गई है: आलोचक दिखाते हैं कि उन्हें native/CUDA solvers से आसानी से bypass किया जा सकता है; समर्थक कहते हैं कि वे फिर भी अधिकांश असोफ़िस्टिकेटेड scrapers को रोक देते हैं और CAPTCHAs की तुलना में कम परेशान करने वाले हैं।
  • false positives वास्तविक हैं: privacy browsers, JS-disabled users, VPN users, और पुराने systems ब्लॉक या धीमे हो जाते हैं, कभी-कभी हमेशा के लिए।

केंद्रीकरण, ओपन वेब, और tooling

  • Cloudflare और इसी तरह की सेवाओं पर भारी निर्भरता को कुछ लोग ज़रूरी सुरक्षा मानते हैं; अन्य इसे वेब को कुछ gatekeepers द्वारा नियंत्रित बंद बगीचों में बदलना मानते हैं।
  • कुछ लोग तर्क देते हैं कि वेब का “social contract” bots और alternative user agents को शामिल करता है; अन्य कहते हैं कि उस contract में कभी भी बड़े पैमाने पर LLM training शामिल नहीं थी।
  • कई लोग नोट करते हैं कि AI crawlers लगभग नगण्य referral traffic भेजते हैं जबकि high value निकाल लेते हैं, जिससे भुगतान या मजबूत कानूनी/तकनीकी restrictions की माँग उठती है।
  • Robots.txt “content signals” और EU copyright reservations का उल्लेख किया गया है, लेकिन उनकी वास्तविक enforceability अभी भी अस्पष्ट है।
  • एक बढ़ता हुआ pattern: लोग hobby sites बंद कर रहे हैं या de-index कर रहे हैं, या केवल human traffic को सहन कर रहे हैं, भले ही इसके लिए कुछ user inconvenience स्वीकार करनी पड़े।