P(प्रलय)
उन्नत AI के अस्तित्वगत जोखिम पैदा करने की आशंकाओं के साथ इस पर संदेह रखा गया है कि मौजूदा systems उस स्तर के कितने भी करीब हैं, और कई लोग इसके बजाय अधिक तात्कालिक नुकसानों—जैसे corporate concentration, misaligned incentives, और opaque training data—की ओर इशारा करते हैं। टिप्पणीकार इस पर बहस करते हैं कि frontier labs को धीमा करना वास्तव में सुरक्षा बढ़ाएगा या केवल incumbents को और मज़बूत करेगा, और क्या open-weight models तथा “AI diversity” शक्ति-संतुलन की तरह रक्षात्मक भूमिका निभाते हैं या खतरनाक रूप से क्षमताओं का प्रसार करते हैं। इन सबसे ऊपर tech billionaires और private firms पर यह भरोसा न होना है कि वे ऐसी तकनीक को जिम्मेदारी से संभालेंगे, और यह चिंता भी कि doomer rhetoric का उपयोग regulatory capture और open models पर कड़े नियंत्रण को उचित ठहराने के लिए किया जा सकता है.
AI पर किसका नियंत्रण है और टेक नेताओं पर भरोसा
- कई टिप्पणीकार तर्क देते हैं कि मौजूदा AI पहले से ही “गलत हाथों” में है, और अरबपति संस्थापकों तथा “शासक वर्ग” की गतिशीलता (पैसा → शक्ति → राजनीतिक और मीडिया प्रभाव) की आलोचना करते हैं।
- Elon Musk को बहुत ध्रुवीकरणकारी माना जाता है: कुछ लोग EVs और अंतरिक्ष तकनीक को तेज़ करने में उनकी भूमिका पर ज़ोर देते हैं; अन्य दाएँ-उन्मुख तानाशाही राजनीति, Nazi/white-supremacist संकेतों, निजी विवादों, और हानिकारक कानूनी तथा AI प्रथाओं में कथित संलिप्तता का हवाला देते हैं।
- कुछ लोग ऐसे “god-complex” नेताओं से डरते हैं जो खुद को “run-of-the-mill sociopathic nerds” से अधिक दुनिया बचाने वाला मानते हैं, लेकिन अन्य लोग जवाब देते हैं कि वास्तविक खतरा बढ़ाने वाली चीज़ भौतिक शक्ति और संसाधन हैं।
Open vs closed AI, MAD, और “AI diversity”
- एक पक्ष का दावा है कि विविध, open(-weight) मॉडल आपसी-निरोध (mutual-deterrence) की गतिशीलता बनाते हैं: कई अलग-अलग AIs, कई actors के नियंत्रण में, rogue systems को जाँच या रोक सकते हैं।
- आलोचक तर्क देते हैं कि गति, compute असंतुलन, और हमले बनाम रक्षा की आसानी इस तुलना को परमाणु MAD से कमज़ोर बनाती है।
- इस पर बहस है कि alignment weights में होना चाहिए या prompts और system design में।
- अन्य लोग चिंतित हैं कि open models “doomsday humans” (जैसे cults, extremists) को स्वयं AIs से भी अधिक सशक्त बनाते हैं।
P(doom) और लोग फिर भी frontier AI क्यों बना रहे हैं
- कई लोगों को यह समझना कठिन लगता है कि जब लोग 10–25% extinction risk की बात करते हैं, तब भी वे capabilities को आगे क्यों धकेल रहे हैं।
- दिए गए स्पष्टीकरण: यह विश्वास कि वे प्रतिस्पर्धियों की तुलना में जोखिम कम कर रहे हैं, सामान्य मानवीय तर्कसंगति (rationalization), चयन दबाव जो अधिक conformist या techno-utopian कर्मचारियों को बनाए रखता है, और परमाणु हथियार कार्यक्रमों के साथ ऐतिहासिक समानताएँ।
Frontier race, RSI, और lab landscape
- कुछ लोग मानते हैं कि इस समय केवल दो US labs ही frontier पर मायने रखते हैं और शायद recursive self-improvement (RSI) के सबसे करीब हैं; अन्य कई near-frontier labs (चीन में भी) की ओर इशारा करते हैं और किसी स्थायी moat पर संदेह करते हैं।
- इस पर भी संदेह है कि RSI से explosive, runaway capability मिलेगी या प्रगति अधिक incremental, घटते प्रतिफल (diminishing-returns) वाली होगी।
ठोस जोखिम: hacking, bioweapons, और monitoring
- चर्चा की एक धारा यह है कि क्या models स्वायत्त रूप से infrastructure hack कर सकते हैं और replicate कर सकते हैं; अभी तक सबूत केवल models के ML tooling पर हमला करने तक सीमित हैं, datacenters पर नहीं।
- bioweapons के मामले में, कुछ लोग तर्क देते हैं कि LLMs engineered pathogens डिज़ाइन करने की बाधाएँ कम करते हैं; अन्य कहते हैं कि वास्तविक दुनिया की lab constraints, expertise, और self-risk अभी भी मज़बूत रोक हैं।
- टिप्पणीकार labs की आलोचना करते हैं कि वे high p(doom) का दावा करते हैं, लेकिन अपने systems के व्यवहार की कठोर निगरानी या प्रतिबंध नहीं लगाते।
आर्थिक, नियामक, और capture संबंधी चिंताएँ
- कुछ लोग नोट करते हैं कि AI hardware और cloud costs बढ़ा रहा है और job markets को छोटा कर सकता है, जिससे व्यक्तिगत productivity gains के बावजूद कई goods और services अधिक महँगे हो सकते हैं।
- कई टिप्पणीकारों को शक है कि “doom” narratives का उपयोग regulatory capture के लिए किया जाएगा: AI को कुछ ही corporations में केंद्रीकृत करना, शक्तिशाली local/open agents पर प्रतिबंध लगाना, और GPU controls को उचित ठहराना।
- अन्य लोग वास्तविक coordination problem पर ज़ोर देते हैं: कई governments और firms को एक साथ धीमा या रुकना होगा, जो politically लगभग असंभव लगता है।
Superintelligence और alignment पर विचार
- एक दृष्टिकोण यह मानता है कि एक वास्तव में superintelligent AI को domination या genocide की तुलना में sustainable, cooperative strategies “obviously better” लगेंगी; यदि नहीं, तो ब्रह्मांड पहले ही hopeless है।
- इसकी तुलना “orthogonality” दृष्टिकोण से की जाती है (goals बुद्धिमत्ता से स्वतंत्र होते हैं), जो भविष्यवाणी करता है कि अत्यंत बुद्धिमान systems भी मनमाने, और संभवतः विनाशकारी, objectives अपना सकते हैं।