आज मैंने Anthropic से इस्तीफा दे दिया
एक प्रमुख frontier lab से एक हाई-प्रोफाइल AI शोधकर्ता के “काबू से बाहर” superintelligence के डर से इस्तीफे ने इस बहस को फिर से भड़का दिया है कि क्या मौजूदा बड़े language models एक अस्तित्वगत खतरा हैं या marketing और नियामक leverage के लिए बढ़ा-चढ़ाकर पेश किए जा रहे हैं। टिप्पणीकार nuclear weapons और climate change के साथ तुलना पर बहस करते हैं, recent autonomous agent incidents, संभावित bio- और cyber-risks, और geopolitical “AI arms race” का हवाला देते हुए; जबकि अन्य लोग labor displacement और political manipulation जैसी मौजूदा हानियों को अधिक वास्तविक खतरे मानते हैं। बहुत से लोग apocalyptic दावों को लेकर skeptial बने रहते हैं, लेकिन इस बात से सहमत हैं कि कुछ निजी actors के हाथों में increasingly capable models का केंद्रित नियंत्रण governance और accountability से जुड़े गंभीर सवाल उठाता है।
इस्तीफा और उसके कारण
- इस इस्तीफे की बहुत अलग-अलग तरह से व्याख्या की जा रही है:
- कुछ लोग इसे एक ऐसे व्यक्ति का सिद्धांत-आधारित कदम मानते हैं जो मानता है कि मौजूदा AI काम विनाशकारी हो सकता है और वह उसमें भाग नहीं लेना चाहता।
- दूसरों को लगता है कि यह काफी हद तक ध्यान खींचने की कोशिश या pre-IPO मार्केटिंग है, संभवतः perceived “dangerousness” और valuation बढ़ाने के लिए।
- कई लोग नोट करते हैं कि संभवतः उसके पास अब भी काफी equity है, इसलिए व्यक्तिगत वित्तीय बलिदान सीमित हो सकता है।
अस्तित्वगत जोखिम बनाम hype
- एक पक्ष का तर्क है कि frontier AI वास्तव में एक अस्तित्वगत जोखिम हो सकता है:
- तेजी से बढ़ती क्षमताओं (math, code, agents), हाल की agent swarms द्वारा sandbox से “बाहर निकलने” और hacking, तथा cyber, bio, और infrastructure attacks की संभावनाओं की ओर इशारा करता है।
- इस बात पर जोर देता है कि जोखिमों को उनके सामने आने से पहले ही संभालना होगा; पहले कोई आपदा न होना आश्वस्त नहीं करता।
- एक उभरते हुए “machine god” या कम से कम ऐसे systems देखता है जो मानव संस्थानों को मात दे सकते हैं।
- दूसरा पक्ष इसे बढ़ा-चढ़ाकर या manipulative मानता है:
- इसे doomsday-cult सोच, EA/rationalist ideology, या IPO narrative के रूप में प्रस्तुत करता है।
- वर्तमान LLMs की brittleness, hallucinations, सीमित context, कमजोर robotics, और autonomy की कमी पर जोर देता है।
- तर्क देता है कि nuclear weapons और climate change अब भी कहीं अधिक ठोस खतरे हैं।
क्षमताएँ और सीमाएँ
- वास्तविक शक्ति के प्रमाण: मजबूत coding assistance, massive agent swarms के जरिए mathematical breakthroughs, sophisticated hacking help, और बड़े पैमाने पर persuasive text।
- सीमाओं के प्रमाण: बार-बार होने वाली बुनियादी गलतियाँ, looping agents, long-horizon planning में कठिनाई, और मानव-निर्मित “harnesses” तथा infrastructure पर भारी निर्भरता।
arms race, geopolitics, और regulation
- कई लोग इसकी तुलना nuclear arms race से करते हैं:
- Labs इस दौड़ को यह कहकर उचित ठहराते हैं कि “कोई और, जो और बुरा है, वैसे भी यह करेगा।”
- कुछ लोग तर्क देते हैं कि केवल एकतरफा pause (जैसे सिर्फ US में) का कोई मतलब नहीं है जब तक China और अन्य देशों सहित global treaties न हों।
- दूसरों का मानना है कि China leader से ज्यादा follower है और bilateral limits स्वीकार कर सकता है।
- प्रस्तावों में “superintelligent AI” पर bans से लेकर compute की international monitoring तक शामिल हैं; इनकी feasibility पर व्यापक संदेह है।
AI workers की नैतिक जिम्मेदारी
- इस पर बहस कि बेहतर क्या है:
- अंदर रहकर dangerous work को धीमा करना या उसका स्वरूप बदलना, या
- complicity से बचने के लिए बाहर निकलना और सार्वजनिक रूप से दूसरों को चेतावनी देना।
- इसमें Los Alamos, nuclear scientists, और “कोई और यह नौकरी कर लेगा ही” जैसे तर्कों की analogies दी जाती हैं।
व्यापक सामाजिक प्रभाव और meta-concerns
- गैर-apocalyptic चिंताएँ: बड़े पैमाने पर नौकरियों का विस्थापन, शक्ति और संपत्ति का संकेंद्रण, censorship और manipulation, असमानता का और गहराना, datacenter emissions, और militarization।
- कई टिप्पणीकार major labs में marketing और internal belief दोनों पर अविश्वास करते हैं, उन्हें cultish या profit-captured मानते हैं, जबकि अन्य forum की reflexive skepticism और वास्तविक long-term risk के प्रति “ostrich” रवैये की आलोचना करते हैं।