Mistral के CEO: AI सॉफ्टवेयर है। इसे नियंत्रित किया जा सकता है
यह दावा कि “AI सिर्फ सॉफ्टवेयर है और इसे नियंत्रित किया जा सकता है” उन लोगों की तीखी आपत्ति झेलता है जो security failures, sandbox escapes, और जटिल, अत्यधिक सक्षम सिस्टमों की भविष्यवाणी की कठिनाई की ओर इशारा करते हैं। टिप्पणीकार इस पर बहस करते हैं कि जैसे-जैसे मॉडल स्केल होते हैं, क्या सार्थक नियंत्रण भी संभव है, और tool restrictions तथा sandboxes जैसे तकनीकी उपायों की तुलना AI को शक्तिशाली tools और internet से जोड़ने की वास्तविक प्रेरणाओं से करते हैं। कई लोग यह भी चिंता जताते हैं कि जो भी नियंत्रण व्यावहारिक होंगे, वे कुछ बड़ी कंपनियों और राजनीतिक actors में शक्ति को केंद्रित कर सकते हैं, जिससे surveillance, manipulation, और oligopoly जैसे dystopian जोखिम बढ़ सकते हैं—even अगर existential “runaway AI” परिदृश्य कभी साकार न हों।
AI की नियंत्रणीयता “सिर्फ सॉफ्टवेयर” के रूप में
- एक पक्ष का तर्क है कि AI सिस्टम अंततः हार्डवेयर पर चलने वाली समीकरणें/संख्याएँ हैं; किसी भी सॉफ्टवेयर की तरह, सिद्धांततः उन्हें सैंडबॉक्सिंग, एक्सेस कंट्रोल, और ऑपरेटर की ज़िम्मेदारी के जरिए नियंत्रित किया जा सकता है।
- आलोचकों का कहना है कि यह एक सतही दावा है: कई खतरनाक सिस्टम “सिर्फ सॉफ्टवेयर” होते हैं, फिर भी व्यवहार में प्रभावी रूप से अनियंत्रित हो जाते हैं (जैसे जटिल फ्लाइट सॉफ्टवेयर या बड़े पैमाने पर मैलवेयर)।
- “पूर्ण सुरक्षा” (जैसे अनप्लग्ड, एयर-गैप्ड सिस्टम) और व्यावहारिक उपयोगिता के बीच तनाव है।
सैंडबॉक्सिंग, एजेंट्स, और सुरक्षा विफलताएँ
- कुछ लोग तर्क देते हैं कि मौजूदा एजेंट मूलतः LLMs के चारों ओर while-loops हैं जिनमें tool calls होते हैं; हम shell access जैसे खतरनाक टूल्स को उजागर न करने का विकल्प चुन सकते हैं।
- दूसरे इसका जवाब देते हैं कि किसी भी उपयोगी टूल एक्सेस से सॉफ्टवेयर कमजोरियों का शोषण संभव हो सकता है, खासकर जैसे-जैसे मॉडल बग्स खोजने में और मजबूत होते जाते हैं।
- मॉडल-चालित तीसरे-पक्ष इंफ्रास्ट्रक्चर पर हमलों और agent “sandbox escapes” जैसी घटनाओं को इस बात के प्रमाण के रूप में उद्धृत किया जाता है कि मौजूदा नियंत्रण कमजोर हैं और दृश्यता कम है।
जोखिम के प्रकार: अस्तित्वगत बनाम डिस्टोपियन
- एक बार-बार आने वाला विषय existential risk (X-risk: विलुप्ति, वैश्विक आपदाएँ) और dystopian risk (D-risk: सर्वव्यापी निगरानी, हेरफेर, दुख) के बीच अंतर करना है।
- कई टिप्पणीकार D-risk को कहीं अधिक संभावित मानते हैं, जहाँ AI persuasion, addiction, और state/corporate control को बढ़ा देता है।
- कुछ लोग runaway “god-like” ASI को लेकर संदेह रखते हैं, और चरम परिदृश्यों को perpetual motion के दावों जैसा मानते हैं; अन्य मानते हैं कि मौजूदा प्रगति यथार्थतः व्यापक रूप से superhuman systems तक ले जा सकती है।
विनियमन, ओलिगार्की, और शक्ति का केंद्रीकरण
- कई लोगों को चिंता है कि X-risk की आशंकाओं का उपयोग भारी regulation को उचित ठहराने के लिए किया जाएगा, जिससे advanced AI कुछ ही कंपनियों या राज्यों में केंद्रीकृत हो जाएगी, और वास्तव में oligarchy बन या और गहरी हो जाएगी।
- दूसरे लोग तर्क देते हैं कि regulation आवश्यक है, और AI की तुलना biohazards से करते हैं जिन्हें P3/P4-शैली के regimes की आवश्यकता होती है, जहाँ developers को नुकसान के लिए उत्तरदायी ठहराया जाए।
- इस बात को लेकर संदेह है कि regulations सार्वजनिक हित में लिखे जाएँगे या incumbent labs और national security establishments द्वारा/उनके लिए।
चेतना, अप्रत्याश्यता, और नियंत्रण की सीमाएँ
- कुछ लोग अनियंत्रणीयता को chaos के रूप में देखते हैं: deterministic systems भी अत्यधिक अप्रत्याशित हो सकते हैं, जो control को कमजोर करता है।
- “sentience” को एक उपयोगी अवधारणा मानने पर बहस होती है: कुछ लोग भविष्य की AI के बारे में तर्क करने के लिए इसे आवश्यक मानते हैं; दूसरे इसे अस्पष्ट “vibes” कहकर खारिज करते हैं, जिसका कोई operational definition नहीं है।
- एक प्रतिवाद: हम पहले से ही खतरनाक agents (मनुष्यों) को environments, incentives, और “character” के जरिए सीमित करते हैं; शायद AI को भी उच्च-चरित्र, सहयोगी व्यवहार की ओर ढाला जाना चाहिए।
व्यावहारिक नुकसान और दुरुपयोग के परिदृश्य
- निकट भविष्य की चिंताओं में शामिल हैं: autonomous scam bots, mass persuasion, AI-समर्थित addiction, और महत्वपूर्ण infrastructure (जैसे hospitals) को नियंत्रित करने वाले खराब तरीके से supervised agents।
- कुछ लोग तर्क देते हैं कि मौजूदा कानून (जैसे hacking के खिलाफ) पहले से ही कई नुकसानों को कवर करते हैं; अन्य enforcement gaps और अपराध के महत्वपूर्ण स्तरों के प्रति ऐतिहासिक सहनशीलता की ओर इशारा करते हैं।
डूमरिज़्म, हाइप, और लैब प्रोत्साहन
- कुछ के अनुसार “doomer” narratives निवेशकों और regulators के लिए marketing हैं, जो perceived power को बढ़ा-चढ़ाकर दिखाते हैं और साथ ही regulatory moats को उचित ठहराते हैं।
- अन्य मानते हैं कि frontier पर labs वास्तव में गुणात्मक रूप से नई safety issues का सामना कर रहे हैं, जिन्हें छोटे खिलाड़ी अभी नहीं देख पा रहे हैं।
- इस बात पर व्यापक संदेह है कि जोखिम का कम करके दिखाना (“it’s just software”) और बढ़ा-चढ़ाकर दिखाना (“machine gods”) दोनों ही business incentives से प्रभावित हैं।