मैंने HN पर पोस्ट किया, और फिर मेरी वेबसाइट AI बॉट ट्रैफ़िक से भर गई
Hacker News पर लिंक पोस्ट करने से अब अक्सर स्वचालित ट्रैफ़िक का उछाल आता है—आक्रामक AI-चालित स्क्रैपर्स से लेकर सामान्य vulnerability scanners तक—जो छोटे sites को overwhelm कर सकता है और analytics को बिगाड़ सकता है या बड़े cloud bills पैदा कर सकता है। टिप्पणीकार Cloud provider ASNs को ब्लॉक करने, Cloudflare Turnstile जैसे CAPTCHAs, tarpits, proof-of-work, basic auth, geo-allowlists, और static hosting जैसी तरकीबों पर चर्चा करते हैं, साथ ही यह भी नोट करते हैं कि sophisticated residential botnets और headless browsers स्थायी तकनीकी समाधान को कठिन बना देते हैं। कई लोग मानते हैं कि यह प्रवृत्ति अधिक content को logins या walled gardens के पीछे धकेल सकती है, जिससे web की openness और usability के भविष्य पर चिंता बढ़ती है।
HN पर एक्सपोज़र और बॉट झुंड
- कई टिप्पणीकार रिपोर्ट करते हैं कि HN पर सिर्फ पोस्ट करने से ही (भले ही वह फ्रंट पेज तक न पहुँचे) स्वचालित ट्रैफ़िक में बड़े उछाल आ जाते हैं।
- ट्रैफ़िक अक्सर वास्तविक उपयोगकर्ता विज़िट से कहीं ज़्यादा होता है और एक ही पोस्ट के बाद महीनों तक चलता रहता है।
- कुछ लोग नोट करते हैं कि रिक्वेस्ट वॉल्यूम आधुनिक सर्वरों की तकनीकी क्षमता के भीतर होता है, लेकिन जब यह डायनेमिक या ठीक से कैश न किए गए पाथ्स पर पड़ता है, तो फिर भी स्लोडाउन, आउटेज, या बड़े बिल का कारण बन सकता है।
वर्तमान बॉट इकोसिस्टम की प्रकृति
- मिश्रण:
- क्लासिक “इंटरनेट बैकग्राउंड रेडिएशन”: वल्नरेबिलिटी स्कैन, WordPress/PHP प्रोब्स, wp-content/phpinfo.php, आदि।
- AWS, GCP, Azure, Alibaba, Oracle, Meta, Apple, और अन्य से क्लाउड-होस्टेड स्क्रैपर्स।
- AI/LLM-संबंधित क्रॉलर और “AI न्यूज़लेटर”/चेंज-मॉनिटरिंग सेवाएँ जो बहुत अधिक बार पोल करती हैं।
- रेज़िडेंशियल प्रॉक्सी बॉटनेट्स और कंज़्यूमर VPNs, जिससे IP-आधारित ब्लॉकिंग और fail2ban काफी कम प्रभावी हो जाते हैं।
- कुछ बॉट robots.txt या nofollow की अनदेखी करते हैं, और सालों तक लंबे समय से मृत URLs को बार-बार हिट करते रहते हैं।
शमन रणनीतियाँ और समझौते
- भारी ब्लॉकिंग: ASN के आधार पर (क्लाउड्स), GeoIP allow-lists, AbuseIPDB blocklists, blackhole/“trap” URLs, या नेटवर्क एज पर blackhole routing।
- चुनौतियाँ और CAPTCHAs: Cloudflare Turnstile, Anubis-शैली का JS वर्क, proof-of-work, कस्टम L7 proxies और tarpits जो जानबूझकर responses को धीमा करते हैं।
- सरल बचाव: होमपेज को छोड़कर बाकी सब पर basic auth, skill-testing questions, rate limiting, fail2ban/ipsets।
- कई लोग रिपोर्ट करते हैं कि उन्नत बॉट्स अब वास्तविक ब्राउज़र/headless Chrome का उपयोग करते हैं और CAPTCHAs तथा Turnstile को मात दे देते हैं।
- कई लोग निष्कर्ष निकालते हैं कि यह arms race जीती नहीं जा सकती, और इसके बजाय performance optimizations, static content, CDNs, और dynamic features को authenticated users तक सीमित करने पर ध्यान देते हैं।
होस्टिंग, लागत और analytics पर प्रभाव
- आक्रामक स्क्रैपिंग से multi-thousand-dollar cloud bills और high egress costs की रिपोर्टें।
- कुछ self-hosters legitimate users को collateral damage के जोखिम के बावजूद work VPNs के पीछे बड़े clouds को ब्लॉक करते हैं।
- analytics और logs को “बेकार” या भारी रूप से polluted बताया गया है; कुछ लोग bad traffic के patterns ढूँढने और वर्गीकृत करने के लिए LLMs का उपयोग करते हैं।
LLM/search bots और वेब के भविष्य पर बहस
- कुछ लोग LLM referrers में मूल्य देखते हैं, उनका दावा है कि ChatGPT एक शीर्ष traffic source बन रहा है और highly engaged users देता है।
- अन्य तर्क देते हैं कि ये सिस्टम उपयोगकर्ताओं को sites से दूर रखने का लक्ष्य रखते हैं, इसलिए content owners को बहुत कम मूल्य देते हैं।
- कई लोग predict करते हैं कि open, anonymous web के बॉट दबाव के तहत बिगड़ने के साथ walled gardens, सख्त identity requirements, या web-of-trust शैली के नेटवर्क की ओर और अधिक स्थानांतरण होगा।