अमूर्तन और तर्क कार्यों पर humans, GPT-4, और GPT-4V की तुलना
GPT‑4 और उसके multimodal variant की मानवों के साथ abstract visual reasoning tasks पर तुलना करने वाला एक नया paper पाता है कि कोई भी मॉडल human‑level abstraction से मेल नहीं खाता, जिससे इस बहस को फिर हवा मिलती है कि क्या large language models वास्तव में “reason” कर सकते हैं या बस परिष्कृत pattern matchers हैं। टिप्पणीकार study की methodology, विशेषकर Mechanical Turk workers को human baseline के रूप में इस्तेमाल करने, पर सवाल उठाते हैं, और नोट करते हैं कि GPT‑4 text tasks में मजबूत प्रदर्शन के बावजूद spatial और grid-based समस्याओं में अब भी संघर्ष करता है। यह चर्चा embodiment, multimodal training, और इस प्रश्न तक फैल जाती है कि क्या वर्तमान transformer-based systems सामान्य बुद्धिमत्ता (general intelligence) की ओर पर्याप्त रास्ता हैं या बड़े AI architectures में सिर्फ एक शक्तिशाली घटक हैं।
क्या LLMs तर्क कर सकते हैं या सिर्फ पैटर्न-मैच करते हैं?
- एक पक्ष का तर्क है कि LLMs केवल टेक्स्ट पर next-token prediction करते हैं, बाहरी प्रणालियों के आंतरिक मॉडल नहीं रखते, और इसलिए वास्तव में तर्क नहीं कर सकते—वे बस डेटा में देखे गए पैटर्नों की नकल करते हैं।
- दूसरे पक्ष का जवाब है कि यह सिद्ध नहीं हुआ है; तर्क स्वयं भी पैटर्न-उपयोग का एक रूप हो सकता है, और जटिल व्यवहार बिना स्पष्ट रूप से “डिज़ाइन इन” किए भी उभर सकते हैं।
- सार्वत्रिक सन्निकटक (universal approximators) के रूप में neural networks का हवाला देकर यह दलील दी जाती है कि, सिद्धांततः, यदि transformers की function class में प्रतिनिधेय हो, तो तर्क उनमें उभर सकता है।
- एक logic-sequence उदाहरण में GPT-3.5 एक आत्म-विरोधी उत्तर देता है, जबकि GPT-4 उसे सही हल करता है; इसे सीमाओं के प्रमाण और तेज़ सुधार—दोनों—के रूप में लिया जाता है।
प्रतिनिधित्व, अमूर्तन, और embodiment
- बार-बार उठने वाला विषय यह है कि वर्तमान मॉडल token/embedding space में काम करते हैं, न कि grounded भौतिक या स्थानिक वास्तविकताओं में।
- कई टिप्पणीकारों का मानना है कि मजबूत अमूर्तन के लिए समस्या-क्षेत्र का “सिमुलेशन” करने की क्षमता चाहिए, संभवतः हर कार्य के लिए अलग internal spaces में।
- अन्य लोग multimodal काम (vision + language) और उन निष्कर्षों की ओर इशारा करते हैं जिनमें internal LLM representations visual encoders के साथ संरेखित हो सकती हैं, जो बताता है कि आंशिक grounding पहले से ही हो रहा है।
- spatial/grid कार्य (जैसे ConceptARC) टेक्स्ट-प्रशिक्षित प्रणालियों के लिए विशेष रूप से कठिन माने जाते हैं, ठीक वैसे ही जैसे नई दृष्टि पाने वाले मनुष्यों को दृश्य आकृतियों से जूझना पड़ता है।
मूल्यांकन डिज़ाइन और मानव baseline
- कुछ लोग paper द्वारा Mechanical Turk “master workers” को मानव benchmark के रूप में उपयोग करने पर प्रश्न उठाते हैं, MTurk की गुणवत्ता समस्याओं, workers द्वारा LLM उपयोग की संभावना, और स्पष्ट variance data के अभाव की ओर ध्यान दिलाते हैं।
- अन्य लोग जवाब देते हैं कि कम-प्रयास या bot-जैसे workers को filter करना मानक और आवश्यक है, और मुख्य परिणाम—human लगभग 90% बनाम GPT-4 लगभग 33%—फिर भी सूचनात्मक है।
- चिंता यह भी है कि tasks अमूर्तन को संकीर्ण visuo-spatial तर्क के साथ मिला देते हैं, और matrix-encoded grids मानव दृश्य perception से सीधे तुलना योग्य नहीं हैं।
Prompting, tools, और composite systems
- कई टिप्पणीकार पूछते हैं कि क्या chain-of-thought prompting, tool use, या बेहतर prompt formats स्कोर को काफ़ी बढ़ा देंगे।
- कुछ का तर्क है कि अधिक प्रासंगिक प्रश्न यह नहीं है कि “क्या एक naked LLM तर्क कर सकता है?” बल्कि यह है कि memory, tools, और sensors वाले agentic loop में embedded LLM क्या कर सकता है।
उपयोगिता, hype, और भविष्य की दिशाएँ
- कई लोग AGI-स्तरीय तर्क और वर्तमान उपयोगिता में अंतर करते हैं: LLMs कुछ tasks पर पहले ही कई crowdworkers से बेहतर प्रदर्शन कर सकते हैं, भले ही वे abstract benchmarks में विफल हों।
- संशयवादी LLM hype को crypto उत्साह के समान देखते हैं; अन्य इस बात पर ज़ोर देते हैं कि वे पहले ही आर्थिक रूप से मूल्यवान हैं और तेज़ी से सुधर रहे हैं, खासकर जब code, search, या robotics के साथ जोड़े जाते हैं।