क्या स्केलिंग काम करेगी?
इस पर बहस कि क्या केवल बड़े भाषा मॉडलों को स्केल करने से कृत्रिम सामान्य बुद्धिमत्ता हासिल हो सकती है, डेटा सीमाओं, आर्किटेक्चरल खाइयों, और “बुद्धिमत्ता” का वास्तविक अर्थ क्या है, इन बातों पर केंद्रित है। संदेह करने वाले LLMs की भारी डेटा-ज़रूरत, कमजोर planning और reasoning, निरंतर learning की कमी, और emergent abilities के संदिग्ध दावों की ओर इशारा करते हैं, और तर्क देते हैं कि नए architectures या embodied systems की आवश्यकता होगी। आशावादी जवाब देते हैं कि बेहतर डेटा, multimodal training, tool use, और self-play—भविष्य के algorithmic advances और बड़े निवेश के साथ—मौजूदा approaches को मानव-स्तर की क्षमताओं तक या उससे आगे भी ले जा सकते हैं।
बहस का दायरा
- धागा इस बात पर केंद्रित है कि क्या मौजूदा LLMs को स्केल करना (अधिक डेटा, पैरामीटर, और compute) AGI तक ले जा सकता है, या फिर ऐसे कठोर सीमाएँ हैं जिनके लिए नए विचारों की ज़रूरत होगी।
- कई लोग “उपयोगी टूल” (जो पहले ही हासिल हो चुका है) और “AGI” (अस्पष्ट, अक्सर परोक्ष रूप से मानव-जैसा या उससे आगे) के बीच अंतर करते हैं।
स्केलिंग, डेटा, और सीमाएँ
- एक पक्ष “bitter lesson” पर ज़ोर देता है: अधिक डेटा और बड़े मॉडल लगातार बेहतर क्षमताएँ देते रहते हैं; मौजूदा मॉडल संभवतः कम प्रशिक्षित हैं और ज़्यादातर केवल टेक्स्ट-आधारित हैं।
- दूसरे तर्क देते हैं कि डेटा एक कड़ी बाधा है: दावे किए जाते हैं कि स्केलिंग लॉज़ से जो अपेक्षित है, उससे हम कई ऑर्डर्स ऑफ मैग्निट्यूड पीछे हैं, और 100,000× अधिक डेटा कोई मामूली बात नहीं है।
- इस पर असहमति है कि क्या निजी कॉर्पोरेट डेटा (ईमेल, डॉक्यूमेंट्स, कॉल्स, मीटिंग्स) और synthetic data इस अंतर को भर सकते हैं।
- कई लोग नोट करते हैं कि इस समय डेटा की गुणवत्ता, curation, ordering, और synthetic data distillation (जैसे छोटे मॉडलों का पुराने बड़े मॉडलों से बेहतर प्रदर्शन) कच्चे वॉल्यूम से अधिक महत्वपूर्ण हो सकते हैं।
आर्किटेक्चर, तर्क, और सामान्यीकरण
- संदेह करने वाले कहते हैं कि next-token prediction पर प्रशिक्षित transformers मुख्यतः interpolate करते हैं, memorization करते हैं, और patterns को जोड़ते हैं; उनमें वास्तविक extrapolation, मज़बूत reasoning, planning, और long-term memory की कमी है।
- planning tasks, PR review benchmarks, और brittle reasoning में विफलताओं के उदाहरण इस बात के प्रमाण के रूप में दिए जाते हैं कि केवल scaling इन खाइयों को नहीं भर सकती।
- दूसरे अपने व्यावहारिक अनुभवों का हवाला देते हैं: LLMs नए coding tasks हल करते हैं, private codebases पर काम करते हैं, और cross-lingual तथा multimodal व्यवहार दिखाते हैं जो वास्तविक generalization जैसा लगता है।
- “emergent abilities” को लेकर बहस है: कुछ इन्हें metric choices से पैदा हुई illusion मानते हैं; दूसरे स्पष्ट गुणात्मक छलाँगों की ओर इशारा करते हैं (जैसे multilingual response, code generation)।
मानव बुद्धिमत्ता बनाम LLMs
- तुलनाएँ बताती हैं कि मनुष्य बहुत कम डेटा से, समृद्ध multimodal streams में, और कई learning paradigms (unsupervised, RL, active, आदि) के ज़रिए सीखते हैं।
- कुछ का तर्क है कि मनुष्य मूलतः advanced sequence models हैं; पर्याप्त scale और समृद्ध inputs के साथ, मशीनों में भी समान गुण उभर सकते हैं।
- दूसरे मस्तिष्क की जटिलता, embodiment, instincts, emotions, और consciousness को गुणात्मक रूप से अलग मानते हैं; उन्हें संदेह है कि text-predicters planning loops, online learning, और भौतिक दुनिया के साथ interaction जैसे नए mechanisms के बिना AGI तक पहुँच सकते हैं।
हाइप, प्रभाव, और प्रक्षेपवक्र
- इस बात पर व्यापक सहमति है कि LLMs पहले से ही बड़ा मूल्य देते हैं: natural-language interfaces, summarization, semantic search, code assistance, और task automation।
- हाइप चक्र पर राय अलग-अलग है: कुछ लोग मानते हैं कि हम अभी भी ऊपर चढ़ रहे हैं; दूसरे AGI पर over-promising को funding बनाए रखने की कोशिश मानते हैं।
- एक सामान्य मध्य दृष्टिकोण: भविष्य की “AGI-like” प्रणालियाँ संभवतः composites होंगी—LLMs के साथ tools, memory, simulators, और reasoning engines—न कि सिर्फ़ एक अकेला scaled-up model।