मैं Geoff Hinton से "glorified autocomplete" के बारे में असहमत हूँ
इस दावे पर बहस होती है कि बड़े भाषा मॉडल “सिर्फ glorified autocomplete” हैं, इसके मुकाबले यह तर्क रखा जाता है कि अत्यधिक सटीक अगला-शब्द prediction के लिए अर्थ या “understanding” के वास्तविक आंतरिक मॉडल की आवश्यकता हो सकती है। टिप्पणीकार समझ, intelligence, और world models का अर्थ टटोलते हैं, LLMs की तुलना मानव संज्ञान, खेल खेलने वाले AIs, और पारंपरिक software से करते हैं, और long-term memory, planning, goal-directed behavior, तथा भरोसेमंद abstraction जैसी मौजूदा कमियों को रेखांकित करते हैं। भले ही कई लोग मानते हैं कि आज के मॉडल मानव-समान reasoning से अभी दूर हैं, पर इस पर असहमति है कि क्या scaling और बेहतर training अंततः उस अंतर को पाट देंगी या fundamentally नए architectures की ज़रूरत होगी।
ChatGPT की शैली और प्रॉम्प्टिंग
- कई टिप्पणीकारों को ChatGPT की डिफ़ॉल्ट verbosity और सूची-प्रधान शैली पसंद नहीं है।
- बताए गए समाधान: कस्टम निर्देश (“बहुत संक्षिप्त रहें”), स्पष्ट tone/length प्रॉम्प्ट, या बाद में “कम वर्बोज़ तरीके से फिर से लिखें” जैसी माँग।
- कुछ लोग नोट करते हैं कि base models कम verbose होते हैं और RLHF शिष्टता तथा लंबाई को बढ़ाता है।
“Autocomplete” बनाम “Understanding”
- एक पक्ष: अगला-टोकन prediction पूरी तरह सांख्यिकीय रह सकती है; सही prediction के लिए “understanding” ज़रूरी नहीं।
- दूसरे तर्क देते हैं कि अत्यधिक सक्षम prediction के लिए आंतरिक abstractions और world models बनाना पड़ता है, जो समझ का ही एक रूप है।
- कई लोग नोट करते हैं कि “understanding” की परिभाषा अस्पष्ट है; परिभाषा के अनुसार, या तो मनुष्य और LLM दोनों समझते हैं, या फिर कोई भी नहीं।
- कुछ कहते हैं कि केवल मनुष्य ही “वास्तव में” समझ सकते हैं, यह कहना सिर्फ anthropocentrism या semantics है।
मानव संज्ञान से समानताएँ
- कई लोग बताते हैं कि मानव मस्तिष्क भी भाषा और perception में predictive processing करता है; रोज़मर्रा की बहुत-सी बातचीत “autocomplete” जैसी लगती है।
- तेज़ associative thinking (System 1) और धीमी deliberative reasoning (System 2) के बीच भेद किया जाता है; कुछ का तर्क है कि LLMs मुख्यतः System-1 जैसी behavior दिखाते हैं, कभी-कभी emergent System-2 जैसी reasoning के साथ।
- दूसरे ज़ोर देते हैं कि मनुष्यों के पास goals, long-term memory, और बोलने से पहले आगे की योजना बनाने की क्षमता होती है, जबकि LLMs में intrinsic goals और persistent memory नहीं होती।
क्षमताएँ, generalization, और सीमाएँ
- जहाँ LLMs अच्छा प्रदर्शन करते हैं: नए math problems, programming मदद, logic puzzles (कभी-कभी), बातचीत के दौरान नए syntaxes सीखना।
- प्रतिदृष्टांत: छोटे puzzle variations पर brittle failures, visual abstraction benchmarks (जैसे ConceptARC), और “boneheaded” math या code गलतियाँ जो सतही conceptual grasp का संकेत देती हैं।
- कई लोग insight की कमी को नोट करते हैं: मनुष्य कभी-कभी प्रश्न को नए ढंग से देखते हैं या उसे अस्वीकार कर देते हैं (जैसे सरल non-coding समाधान सुझाना), जबकि LLMs अक्सर दिए गए task के भीतर ही रहते हैं।
- hallucinations और “मुझे नहीं पता” कहने में कठिनाई को प्रमुख सीमाएँ बताया गया है।
आर्किटेक्चर, Markov processes, और information theory
- इस पर बहस कि transformers “सिर्फ Markov chains” हैं या नहीं:
- एक पक्ष: सीमित context और अगला-step dependence Markovian लगते हैं।
- दूसरा पक्ष: आंतरिक state और पूरे context पर attention सरल Markov धारणाओं का उल्लंघन करते हैं; उन्हें Markov कहना अत्यधिक सरलीकरण माना जाता है।
- कुछ लोग तर्क देते हैं कि text पर cross-entropy minimization और regularization मिलकर मॉडलों को दुनिया के underlying “information graph” के compressed representations की ओर धकेलते हैं।
World models, semantics, और truth
- इस पर असहमति कि LLMs world को मॉडल करते हैं या केवल human text के patterns को।
- एक दृष्टिकोण: वे reality के बजाय reality के बारे में texts को “map” करते हैं, एक परिष्कृत Chinese Room की तरह।
- दूसरे जवाब देते हैं कि मनुष्य भी सीमित sensory data और भाषा के माध्यम से ही दुनिया तक पहुँचते हैं; दोनों प्रणालियाँ indirect evidence से internal models बनाती हैं।
- LLMs की truth बनाम fiction को track करने की क्षमता पर चर्चा है, thread के भीतर calibration और uncertainty पर काम के references के साथ; skeptics जवाब देते हैं कि models में अभी भी grounded notion of truth नहीं है।
AGI, goalposts, और analogies
- अधिकांश लोग सहमत हैं कि मौजूदा LLMs AGI नहीं हैं; मज़बूत benchmark scores के बावजूद वे अब भी “stupid” तरीकों से विफल होते हैं।
- कुछ का तर्क है कि आलोचक हर क्षमता हासिल होने पर goalposts को “आगे खिसका” देते हैं (जैसे नई math invent करने की माँग)।
- AlphaZero/Go को एक analogy के रूप में इस्तेमाल किया जाता है: स्पष्ट objective के साथ self-play दिखाता है कि prediction और pattern recognition कितने शक्तिशाली हो सकते हैं, लेकिन दूसरे चेतावनी देते हैं कि games closed worlds हैं, खुली-ended language और reality जैसी नहीं।
मेटा: “autocomplete” फ्रेम की उपयोगिता
- कुछ लोग “glorified autocomplete” को तिरस्कारपूर्ण लेकिन तकनीकी रूप से संगत मानते हैं: पर्याप्त शक्तिशाली “autocomplete” गहरी reasoning को भी समाहित कर सकता है।
- दूसरों को labels (“autocomplete,” “understanding,” “intelligence”) पर बहस, क्षमताओं और failure modes के ठोस, empirical evaluation से कम उपयोगी लगती है।