Large Language Models Are Neurosymbolic Reasoners

“न्यूरोसिंबोलिक रीज़नर” दावे की धारणा

• कुछ लोग इस पेपर को एक स्पष्ट बात की पुष्टि के रूप में देखते हैं: LLMs पाठ पर प्रतीकात्मक-जैसे ऑपरेशन्स लागू कर सकते हैं, लेकिन यह कोई बड़ा कदम आगे जैसा नहीं लगता।
• दूसरों का मानना है कि इन क्षमताओं को औपचारिक रूप से परिभाषित और मापना फिर भी उपयोगी है, खासकर इंटरैक्टिव फ़िक्शन (IF) गेम्स के ज़रिए जहाँ क्रियाएँ और विश्व-स्थिति प्राकृतिक भाषा में होती हैं।
• इस पर बहस है कि “रीज़नर” का अर्थ क्या है; कुछ लोगों को शीर्षक अलंकारिक रूप से मजबूत लगता है, लेकिन उसकी स्पष्ट परिभाषा नहीं है।

क्या न्यूरल नेटवर्क सिर्फ lookup tables हैं?

• एक लंबा उप-थ्रेड तर्क देता है कि कोई भी सीमित न्यूरल नेट एक संख्यात्मक फ़ंक्शन है और इसलिए एक बहुत बड़ी lookup table के बराबर है; अतः वह “सोचता” नहीं है।
• प्रति-तर्क:
  • यही तर्क मनुष्यों और ब्रह्मांड को भी नियतिवाद के तहत lookup tables बना देगा; अगर यह स्वीकार्य है, तो “नहीं सोचता” एक बेकार परिभाषा बन जाती है।
  • lookup-table समतुल्यता किसी भी सीमित प्रोग्राम के लिए गणितीय रूप से सत्य है, लेकिन यह सामान्यीकरण, संपीड़न, और इंटरपोलेशन कैसे काम करते हैं, उसे नहीं पकड़ती।
  • रिकर्रेंट/स्टेटफुल नेट्स, arbitrary precision, और halting problem से जुड़ाव सूक्ष्मताएँ दिखाते हैं: कुछ tables अनंत या अ-गणनीय हो सकती हैं।
• इस पर असहमति कि भौतिकी मूलतः computable है या नहीं; कुछ लोग Bekenstein bounds और सीमित सूचना का हवाला देते हैं, जबकि अन्य तर्क देते हैं कि सतत, real-valued मॉडल पूर्ण discretization का विरोध करते हैं।

मनुष्य बनाम मशीनें: सोच, embodiment, और consciousness

• एक पक्ष ज़ोर देता है कि मनुष्यों को “सिद्धांततः भी” tables में नहीं घटाया जा सकता, क्योंकि जीवविज्ञान, embodiment, और व्यक्तिपरक अनुभव मायने रखते हैं; software “सिर्फ़ numbers” है।
• अन्य लोग तर्क देते हैं कि मनुष्य कणों/क्षेत्रों की यांत्रिक प्रणालियाँ हैं; सिद्धांततः सभी inputs/outputs को संख्यात्मक रूप से वर्णित किया जा सकता है, इसलिए table equivalence को नकारना असंगत है।
• embodied cognition के समर्थक गति, sensorimotor loops, plasticity, और साझा दुनिया में लक्ष्यों पर बल देते हैं; LLMs केवल पाठ को compress और replay करते हैं, उनमें intentions या world-causal grounding नहीं होता।
• विरोधी दावा करते हैं कि इतिहास में यांत्रिक मनों के खिलाफ ऐसे ही “mystical” तर्क दिए गए थे, और उन्हें सिलिकॉन में अंततः minds या agency के समर्थन की कोई वजह नहीं दिखती।

रीज़निंग क्षमताएँ और LLMs की सीमाएँ

• कई लोग सहमत हैं कि LLMs अक्सर multi-step या “multi-hop” reasoning में विफल होते हैं, जब तक उन्हें chain-of-thought prompts न दिए जाएँ; गलतियाँ बढ़ती हैं और hallucinations दिखाई देती हैं।
• कुछ लोग कहते हैं कि इससे साबित होता है कि वे सचमुच reason नहीं करते, बल्कि training से patterns को पुनर्संयोजित करते हैं; Advent of Code और सूक्ष्म concurrency bugs को अनदेखे समस्याओं पर विफलताओं के रूप में उद्धृत किया जाता है।
• अन्य लोग जवाब देते हैं कि chain-of-thought बिल्कुल वैसा ही है जैसा मनुष्य reason करते हैं, और self-critique या multi-agent setups पहले ही विश्वसनीयता बढ़ाते हैं।
• इस पर बहस है कि text पर statistical pattern matching से genuine world models निकल सकते हैं या केवल भाषा के वितरण का अनुमान लग सकता है।

रीज़निंग बेंचमार्क के रूप में गेम्स

• text IF games पर पेपर की सफलता को आशाजनक माना गया है, क्योंकि नियम और state प्राकृतिक भाषा में हैं।
• कई टिप्पणीकार कठिन परीक्षण सुझाते हैं: NetHack, Zork, जटिल roguelikes, या Diplomacy, जहाँ planning, exploration, और hidden information महत्वपूर्ण हैं।
• NetHack पर एक विस्तृत साइड बहस छिड़ती है:
  • कुछ लोग दावा करते हैं कि अस्पष्ट mechanics और भारी randomness के कारण यह “spoilers” (बाहरी ज्ञान) के बिना प्रभावी रूप से unwinnable है।
  • अन्य लोग उच्च win rates वाले विशेषज्ञ खिलाड़ियों का उल्लेख करते हैं और सुझाव देते हैं कि पर्याप्त runs के साथ RL agents शोर के बावजूद उपयोगी mechanics निकाल सकते हैं।
• उद्धृत एक कार्य LLMs का उपयोग करके NetHack में RL agents को intrinsic rewards देता है; एक अन्य system files के लिए text interface उपयोग करता है, जहाँ GPT‑4 backtrack और search कर सकता है, लेकिन GPT‑3.5 संघर्ष करता है।

प्रतीकात्मक प्रणालियाँ और hybrid approaches

• एक project LLM internals में explicit computational structures (lambda calculus, stacks, queues) इंजेक्ट करता है ताकि latent states पर अधिक विश्वसनीय, program-like reasoning मिल सके।
• एक विपरीत धारा Cyc जैसी classic symbolic AI की ओर इशारा करती है, जो explicit logical inference और एक hand/derived knowledge base का उपयोग करती है, और तर्क देती है कि वह “वास्तव में reason करती है” और hallucinate नहीं करती।
• आलोचक सवाल करते हैं कि भारी training costs और energy use के बावजूद NNs का उपयोग करके programs synthesize करना कितना उपयोगी है, खासकर यदि अंतिम उत्पाद एक पारंपरिक program ही हो।
• समर्थक जवाब देते हैं कि automated program synthesis अभी भी मनुष्यों को भुगतान करने से सस्ता और अधिक scalable हो सकता है, और NNs ऐसे systems को मौजूदा LLM knowledge का लाभ लेने देते हैं।

मेटा: सीखने के संसाधन और terminology

• एक टिप्पणीकार LLM developments के साथ बने रहने के अच्छे तरीकों के बारे में पूछता है; अन्य लोग साइट की search का उपयोग करके परिचयात्मक और tutorial सामग्री खोजने का सुझाव देते हैं।
• कई प्रतिभागी इस बात पर ज़ोर देते हैं कि physics, CS, और ML में “information”, “entropy”, और “world model” जैसे शब्दों का ढीला उपयोग इन बहसों में भ्रम पैदा करता है।