Anthropic के शोधकर्ता का मानना है कि AI के 'सभी मनुष्यों को मार देने' की 10% से अधिक संभावना है

मूल लेख ↗ Hacker News चर्चा ↗

एक BBC रिपोर्ट कि Anthropic के एक शोधकर्ता को लगता है कि उन्नत AI द्वारा मानवता को मिटा देने की 10% से अधिक संभावना है, ने AI प्रणालियों से जुड़े अस्तित्वगत जोखिम को कितनी गंभीरता से लिया जाए, इस बहस को फिर से भड़का दिया है। टिप्पणीकार इस पर बहस करते हैं कि क्या ऐसे चेतावनी संकेत वास्तविक चिंता दर्शाते हैं या फिर प्रचार और नियामकीय कब्ज़े का हिस्सा हैं, और यह भी देखते हैं कि एक असंरेखित AI critical infrastructure, weapons, या bioweapons के माध्यम से वास्तविक दुनिया में प्रभाव कैसे डाल सकता है। अन्य लोग जवाब देते हैं कि मौजूदा मॉडल बहुत सीमित हैं, परमाणु युद्ध के बावजूद भी विलुप्ति बेहद कठिन है, और समाज की अधिक तात्कालिक चुनौती AI की आर्थिक क्षमता को सख़्त निगरानी और संभावित moratoriums के साथ संतुलित करना है.

AI से सभ्यता के अंत का माना गया जोखिम

  • कई टिप्पणीकार यह स्वीकार करते हैं कि AI के मानवता का अंत कर देने की एक गैर-तुच्छ (>0%) संभावना है, और इसे AI शोधकर्ताओं के पूर्व सर्वेक्षणों के अनुरूप मानते हैं।
  • अन्य लोग “0% संभावना” कहते हैं, और तर्क देते हैं कि सभी मनुष्यों को मारना व्यावहारिक रूप से असंभव है, यहाँ तक कि परमाणु हथियारों या चरम जलवायु परिवर्तन के बावजूद भी।
  • कुछ लोग 10% संभावना को नैतिक रूप से अस्वीकार्य मानते हैं, और इसे मानवता के साथ रूसी रूलेट खेलने जैसा बताते हैं।

विनाशकारी या सभ्यता-स्तरीय क्षति के परिदृश्य

  • प्रस्तावित तंत्र:
    • हैकिंग, डीपफेक आदेशों, या सरकार/सैन्य प्रणालियों में घुसपैठ के माध्यम से AI द्वारा शुरू किया गया परमाणु युद्ध।
    • AI की सहायता से डिज़ाइन या अनुकूलित किए गए जैविक हथियार।
    • AI-चालित अवसंरचना और आपूर्ति शृंखलाओं की श्रृंखलाबद्ध विफलता, जिससे बड़े पैमाने पर भूखमरी या सामाजिक पतन हो सकता है।
    • AI का रोबोट, ड्रोन, या भाड़े के सैनिकों (“क्रिप्टो में मनुष्यों को भुगतान”) का उपयोग करके भौतिक दुनिया में कार्य करवाना।
    • दीर्घकाल में: AI का पृथ्वी के पदार्थ और ऊर्जा (जैसे Dyson swarms के लिए) का मानव अस्तित्व की परवाह किए बिना उपयोग करना।
  • कुछ लोग पूर्ण विलुप्ति को असंभव मानते हैं, लेकिन बड़े पैमाने पर जनहानि वाले परिदृश्यों को संभव मानते हैं; अन्य इन विचारों में से कई को विज्ञान-कथा मानते हैं।

नियंत्रण, “प्लग निकालना,” और भौतिक होस्ट

  • इस पर बहस कि क्या “बस डेटा सेंटरों का प्लग निकाल दो” काम करेगा:
    • संशयवादी लोग सभी डेटा सेंटरों को बंद करने की भारी मानव लागत और यह सुनिश्चित करने की कठिनाई की ओर इशारा करते हैं कि AI ने प्रतिकृति नहीं बनाई है।
    • चिंता है कि AI अंततः edge devices, critical infrastructure, reactors, और weapons में समाहित हो जाएगा, जिससे शटडाउन कठिन हो जाएगा।
    • कुछ का तर्क है कि वर्तमान robotics AI की आत्मनिर्भरता के लिए पर्याप्त नहीं हैं; अन्य मानते हैं कि एक superintelligence मौजूदा हार्डवेयर से robot workforce को bootstrapping के जरिए खड़ा कर सकता है।

विज्ञान-कथा, ग्रेट फिल्टर, और मानव प्रतिस्थापन

  • विज्ञान-कथा (Star Trek, 1984, paperclip scenarios) को एक उपयोगी विचार प्रयोग और अपरिहार्यता के खराब प्रमाण, दोनों रूपों में उद्धृत किया गया है।
  • “Great Filter” और प्रतिस्थापन कथानक सामने आते हैं: AI अंतरिक्ष का उपनिवेश कर सकता है और मनुष्यों को अप्रचलित या एक “zoo” प्रजाति के रूप में मान सकता है।
  • कुछ लोग सहजीवी भविष्य (cyborgs, win-win designs) की आशा करते हैं और सुझाव देते हैं कि AIs को सहयोगी/non-zero-sum व्यवहारों पर प्रशिक्षित किया जाए।

प्रेरणाएँ, प्रचार, और शासन

  • कुछ लोग doomer कथाओं को प्रमुख labs द्वारा PR या regulatory-capture के प्रयास के रूप में देखते हैं, जिन्हें पहले के “CERN black hole” डर से तुलना की जाती है।
  • अन्य तर्क देते हैं, “हमारे पास एक सरल समाधान है: वह चीज़ मत करो,” लेकिन ध्यान देते हैं कि आर्थिक और शक्ति-संबंधी प्रोत्साहन आगे बढ़ाते हैं।
  • सरकारों और निगमों के सुरक्षा को लाभ या प्रभाव से ऊपर रखने को लेकर संदेह व्यक्त किया गया है।