LLMs तर्क संबंधी त्रुटियाँ नहीं ढूँढ सकते, लेकिन उन्हें सुधार सकते हैं

मूल लेख ↗ Hacker News चर्चा ↗

Large language models अक्सर अपनी तर्क-संबंधी त्रुटियाँ पहचानने में विफल रहते हैं, लेकिन जब उन्हें बताया जाता है कि गलती है या वह कहाँ है, तब वे अक्सर उत्तर “ठीक” कर सकते हैं। टिप्पणीकार इस व्यवहार की तुलना वास्तविक तार्किक तर्क से करते हैं, इस पर बहस करते हैं कि मॉडल केवल pattern-matching कर रहे हैं या सोच रहे हैं, और विश्वसनीयता सुधारने के लिए multiple drafts, model ensembles, और prompt engineering जैसी तरकीबों का अन्वेषण करते हैं। यह चर्चा वर्तमान LLMs की प्रभावशाली सतही क्षमताओं और robust, self-directed error checking तथा formal reasoning में उनकी लगातार कमजोरियों, दोनों को उजागर करती है.

पेपर के दावे का दायरा

  • थ्रेड इस बात से सहमत है कि पेपर दिखाता है: वर्तमान LLMs अक्सर अपनी ही तर्क संबंधी त्रुटियों को ढूँढने में विफल रहते हैं, लेकिन वे अक्सर उत्तरों में सुधार कर सकते हैं जब:
    • उन्हें बताया जाता है कि कोई त्रुटि मौजूद है, और
    • उन्हें त्रुटि के स्थान के बारे में जानकारी दी जाती है (या बहुत मजबूत संकेत दिया जाता है)।
  • कई लोग तर्क देते हैं कि यह “एक बाधा के साथ फिर से कोशिश करना” ज्यादा है, न कि वास्तविक आत्म-सुधार या तर्क।

क्या LLMs वास्तव में तर्क करते हैं?

  • कई टिप्पणीकार जोर देकर कहते हैं कि LLMs सचमुच “तर्क” नहीं करते; वे प्रशिक्षण डेटा के साथ पैटर्न-मिलान करते हैं और ऐसा पाठ उत्पन्न करते हैं जो तर्क जैसा दिखता है।
  • अन्य लोग नोट करते हैं कि व्यवहारिक रूप से, LLMs कई उदाहरणों में तर्क-श्रृंखलाओं का पालन कर सकते हैं और stream-of-thought भी कर सकते हैं, इसलिए “पैटर्न-मिलान” और “तर्क” के बीच की रेखा धुंधली है।
  • मजबूत संदेह: LLMs कई परस्पर निर्भर clauses या गणितीय चरणों में लगातार तार्किक संगति बनाए नहीं रख सकते; जब उन्हें सुधारा जाता है, तो वे अक्सर नए तरीकों से विफल हो जाते हैं।
  • “तर्क” की परिभाषाओं पर असहमति है; कुछ लोग औपचारिक, logic-आधारित परिभाषाएँ चाहते हैं, जबकि अन्य अधिक heuristic, मानव-जैसी धारणाओं को स्वीकार करते हैं।

त्रुटि पहचान बनाम त्रुटि सुधार

  • मुख्य अंतर: यह पहचानना कि उत्तर गलत है, बनाम एक बेहतर विकल्प उत्पन्न करना जब हल्का-सा संकेत दिया जाए।
  • कई लोग नोट करते हैं कि LLMs को सही उत्तर भी बदलने के लिए आसानी से मनाया जा सकता है (“lack of conviction”), जिसे बड़े पैमाने पर alignment/RLHF और उपयोगकर्ता को खुश करने की प्रवृत्ति से जोड़ा जाता है।
  • अवलोकन यह है कि LLMs कभी-कभी केवल “यह गलत है” कहने पर, बिना विवरण के, खुद को सुधार लेते हैं, लेकिन वे गलतियों को “सुधार” भी देते हैं यदि उनसे पूछा जाए।

Self-Critique, दृष्टिकोण, और प्रशिक्षण डेटा

  • परिकल्पना: मॉडल “किसी और के” उत्तर की आलोचना “अपने” उत्तर की तुलना में बेहतर कर सकते हैं, क्योंकि प्रशिक्षण डेटा में लोगों द्वारा दूसरों की गलतियाँ सुधारने के उदाहरण खुद की तुलना में कहीं अधिक हैं।
  • सुझाया गया तरीका: मॉडल के पिछले आउटपुट को ऐसे प्रस्तुत करें जैसे वह किसी और व्यक्ति ने लिखा हो, ताकि त्रुटि ढूँढने की क्षमता बढ़े।
  • इस पर बहस है कि क्या यह anthropomorphizing है या केवल अत्यधिक मानव-जैसे प्रशिक्षण डेटा में मौजूद पैटर्नों का उपयोग है।

Multi-Model और Multi-Sample दृष्टिकोण

  • चर्चा की गईं कई बातें:
    • एक मॉडल का उपयोग दूसरे के आउटपुट का मूल्यांकन या उस पर हमला करने के लिए करना।
    • कई generations (n samples) चलाना और छोटे selector model से सबसे अच्छा चुनना।
    • GAN-जैसी व्यवस्थाएँ जहाँ एक “validator” मॉडल को स्पष्ट रूप से त्रुटियाँ ढूँढने के लिए प्रशिक्षित किया जाता है।
  • लाभ: बेहतर error rates और “second chances.”
  • लागत/सीमाएँ: अधिक compute, streaming interfaces के साथ संभावित असंगति, और फिर भी मूलभूत reasoning सीमाएँ हल नहीं होतीं।

Prompting, शैली, और व्यावहारिक उपयोग

  • उच्च-गुणवत्ता वाले, स्पष्ट prompts (अच्छी grammar, स्पष्ट constraints, “think carefully” निर्देश) परिणामों को ध्यान देने योग्य रूप से सुधारते हैं।
  • कुछ लोग messy prompts को साफ़, अधिक “canonical” inputs में फिर से लिखने के लिए अलग LLM passes का उपयोग करते हैं, फिर मुख्य model से पूछते हैं।
  • “context poisoning” देखा गया: लंबे interactions hallucinations जमा करते हैं; “यहाँ कुछ खराब code है, इसे ठीक करो” के साथ restarting करने पर अक्सर बेहतर corrections मिलती हैं।

Interpretability और समझ

  • इस बात पर सहमति है कि हम training algorithm और code को समझते हैं, लेकिन उन विस्तृत आंतरिक representations को नहीं जो weights को concepts और reasoning-जैसे व्यवहार से जोड़ती हैं।
  • उपमा: हम optimization को चलाना जानते हैं, लेकिन यह नहीं जानते कि परिणामस्वरूप बने विशाल parameter set में विशिष्ट cognitive-like क्षमताएँ “कैसे” लागू होती हैं।