चेन-ऑफ-थॉट रीज़निंग न्यूरल नेटवर्क्स को गणना करने में कैसे मदद करती है
CoT प्रदर्शन कैसे बेहतर बनाता है
- CoT को ट्रांसफॉर्मर्स को मध्यवर्ती टोकन जनरेट करके गणना करने के लिए “अधिक समय और स्थान” देने के रूप में प्रस्तुत किया गया है।
- कई टिप्पणीकार इसे एक कठिन समस्या को सरल, स्थानीय निर्णयों की श्रृंखला में बदलने के रूप में वर्णित करते हैं, जिसे मॉडल बेहतर ढंग से संभाल सकता है।
- अन्य लोगों का तर्क है कि मुख्य प्रभाव संभावित पूर्णताओं के स्थान को संकुचित करना है: स्पष्ट तर्क-वितर्क को बाध्य करने से असंगत बकवास की संभावना कम हो जाती है।
गणना, स्मृति, और संदर्भ
- टोकन स्क्रैचपैड / बाहरी RAM के रूप में काम करते हैं: मध्यवर्ती परिणाम संदर्भ में लिखे जाते हैं और फिर से पढ़े जाते हैं।
- क्योंकि प्रति टोकन डिकोडर गहराई स्थिर होती है, अतिरिक्त टोकन प्रभावी रूप से अधिक अनुक्रमिक गणना चरण जोड़ते हैं।
- “प्रति टोकन स्थिर लागत” को लेकर बहस है: आर्किटेक्चरल रूप से गहराई स्थिर होती है, लेकिन लंबे संदर्भों पर attention व्यवहार में धीमा होता है।
- कुछ लोग नोट करते हैं कि मॉडलों में स्थायी आंतरिक state नहीं होता; सारी “स्मृति” संदर्भ में रहती है, इसलिए मौन सोच (“X के बारे में सोचो फिर Y करो”) अक्सर विफल हो जाती है।
प्रॉम्प्टिंग, attractors, और विफलता के तरीके
- ऐसे प्रॉम्प्ट जो किसी विशिष्ट semantic region की ओर झुकाव पैदा करते हैं (जैसे step-by-step गणितीय समाधान) आउटपुट को बहुत मजबूती से निर्देशित कर सकते हैं।
- पूर्व बातचीत और RLHF पैटर्न attractors की तरह काम करते हैं; मॉडल पहले की शैलियों (जैसे बुलेट सूचियाँ, “However,”) की ओर लौटते हैं।
- विस्तृत प्रॉम्प्ट जो completion space को सीमित करते हैं, अक्सर उपयोगकर्ताओं को अपनी समस्याएँ स्वयं हल करने में मदद करते हैं (rubber-duck प्रभाव)।
CoT की सीमाएँ और एल्गोरिथ्मिक जटिलता
- उद्धृत औपचारिक परिणाम: CoT केवल तब पर्याप्त रूप से मदद करता है जब मध्यवर्ती चरण input size के साथ स्केल करते हैं; कई समस्याओं को इससे भी अधिक गहराई चाहिए।
- व्यवहार में, मॉडल सरल O(n) decomposition संभाल लेते हैं, लेकिन O(n²) substeps में recursive decomposition करने में संघर्ष करते हैं।
- कुछ लोग papers (pause tokens, Quiet-STaR) की ओर इशारा करते हैं जो दृश्य chains के बिना CoT-जैसे “supporting thoughts” को internalize या parallelize करने की कोशिश करते हैं।
मानव तर्क, next-token बहस, और anthropomorphism
- एक पक्ष ज़ोर देता है कि LLMs “सिर्फ next-token predictors” हैं; दूसरा तर्क देता है कि loss कम करने के लिए उन्हें nontrivial internal algorithms लागू करने होंगे।
- कई लोग नोट करते हैं कि मनुष्य भी अक्सर “अगला विचार” अनुमान लगाते हैं और बाद में औचित्य भरते हैं; कठोर तर्क-वितर्क कम होता है और बाहरी जाँच शामिल होती है।
- इस बात की चिंता है कि “chain of thought” और “thinking” जैसी भाषा anthropomorphize करती है और जनता को भ्रमित करती है, बनिस्बत अधिक तटस्थ शब्दों जैसे “intermediate token conditioning” के।
- इस पर असहमति है कि क्या ये व्यवहार किसी भी प्रकार की consciousness तक पहुँचते हैं; कुछ लोग “stochastic parrots” देखते हैं, जबकि अन्य बढ़ती हुई मानव-जैसी simulation देखते हैं।
टूल्स, इंटरफेस, और विकल्प
- सुझावों में multi-step workflows (योजना → योजना की आलोचना → निष्पादन), tree-of-thought branching, tool use (code, solvers), और editable history वाले बेहतर UIs शामिल हैं।
- कुछ लोग तर्क देते हैं कि भविष्य की विधियाँ (logit-bias steering, Quiet-STaR) स्पष्ट CoT prompting को काफी हद तक अनावश्यक बना सकती हैं, क्योंकि वे “छिपे” तर्क को सीधे embedding के भीतर डाल देंगी।