क्या LLMs में reversal curse वास्तविक है?
दावे किए गए हैं कि large language models में एक “reversal curse” होता है — यानी “A is B” से “B is A” का अनुमान न लगा पाना (उदाहरण: “Tom Cruise is the son of Mary Lee Pfeiffer” से वापस “Mary Lee Pfeiffer is Tom Cruise’s mother” तक न पहुँच पाना) — और इसी पर बहस छिड़ गई है कि ये सिस्टम वास्तव में क्या सीखते हैं। Commenters इस पर बहस करते हैं कि क्या यह logical deduction की मूलभूत विफलता है, training में associations के स्टोर होने का प्रभाव है, या फिर natural language की अस्पष्टता का नतीजा है जहाँ “A is B” अक्सर reversible relation नहीं दर्शाता। Thread में human memory से समानताएँ, in-context reasoning और baked-in training के बीच का अंतर, और GPT‑4 जैसे black-box, लगातार बदलते commercial models का उपयोग करके LLM capabilities पर सामान्य वैज्ञानिक निष्कर्ष निकालने की सीमाएँ भी शामिल हैं.
“Reversal Curse” की वास्तविकता और महत्व
- कई लोग “curse” को (“A is B” से “B is A” तक न पहुँच पाना) next-token models के काम करने के तरीके और भाषा की असममिति को देखते हुए अप्रत्याशित नहीं मानते।
- अन्य लोग तर्क देते हैं कि पहचान-जैसे मामलों में (“X was the ninth chancellor”) अधिकांश उपयोगकर्ता reversibility की अपेक्षा करते हैं, इसलिए product perspective से ये विफलताएँ एक bug हैं।
- कुछ लोग कहते हैं कि paper दावा ज़्यादा करता है: प्रभाव वास्तविक है, लेकिन यह logical deduction की अक्षमता से अधिक recall/representation से जुड़ा है।
“is” का अर्थ और Natural Language
- कई टिप्पणियाँ इस बात पर ज़ोर देती हैं कि natural language में “A is B” आमतौर पर “B is A” का अर्थ नहीं देता (“a bird is an animal” बनाम “an animal is a bird”)।
- उठाए गए भेद: “is of identity” बनाम “is of predication”; “A is B” बनाम “A is a B”; definite बनाम indefinite articles।
- अन्य लोग जवाब देते हैं कि paper स्पष्ट रूप से reversible forms पर केंद्रित है, जैसे “X is the Y” या unique roles (mother/son, chancellor number)।
Training बनाम In‑Context Behavior
- मजबूत सहमति है कि जब दोनों पक्ष prompt में मौजूद हों, तो LLMs relations को भरोसेमंद ढंग से reverse कर सकते हैं; समस्या training-time generalization में आती है।
- कुछ लोग इसे इस तरह देखते हैं: “model A से B infer कर सकता है, लेकिन training process facts को symmetric तरीके से store नहीं करती।”
- बहस इस पर है कि क्या training केवल “dumb optimization” है, या इसमें किसी तरह की “smart” meta-learning भी शामिल है।
मानव संज्ञान से तुलना
- कई उपमाएँ दी गईं: language learning flashcards, Anki directionality, tip-of-the-tongue, movie roles की asymmetrical memory, “force = mass × acceleration” और formula को reverse में उपयोग करना।
- कुछ लोग तर्क देते हैं कि humans भी reversals “free” में नहीं पाते, बल्कि explicit inference और practice के बाद।
- अन्य लोग जवाब देते हैं कि कई सरल factual relations के लिए humans कहीं अधिक robust होते हैं और लगभग order-invariant।
Prompting, Data, और Fine‑Tuning
- कई commenters ज़ोर देते हैं कि underrepresented facts, ambiguous prompts, और छोटे या खराब डिज़ाइन किए गए fine‑tuning sets इस प्रभाव को बढ़ा देते हैं।
- उदाहरण दिखाते हैं कि wording (“is” बनाम “was”, “eighth” बनाम “ninth”) और अतिरिक्त context उत्तरों को गलत से सही में बदल सकते हैं।
- कुछ लोग चिंता जताते हैं कि इससे fine‑tuned models factual retrieval के लिए brittle हो सकते हैं, भले ही base models समृद्ध context में reversals संभाल लें।
Counting, Numbering, और German Chancellor वाला मामला
- एक लंबा subthread “the eighth/ninth Federal Chancellor of Germany” के बारे में गलत उत्तरों की जाँच करता है।
- इस पर मतभेद हैं कि क्या किसी “acting” officeholder को count किया जाना चाहिए; कुछ कहते हैं model स्पष्ट रूप से गलत है, जबकि अन्य मानते हैं कि ambiguity उसके चयन को समझाती है।
- व्यापक रूप से, positional/ordinal questions (जैसे “fifth word in a list”) में LLMs की कठिनाई को इससे जुड़ी कमजोरी माना गया है।
Mechanistic और Architectural व्याख्याएँ
- चर्चा की एक धारा ऐसे कार्यों का हवाला देती है जो feed‑forward layers को key–value stores की तरह देखते हैं: subject tokens keys प्रदान करते हैं, values facts स्टोर करते हैं, और attention plus relation phrases उन्हें retrieve करती हैं।
- इस दृष्टिकोण में reversals मुफ्त नहीं हैं: “B is A” के लिए अपना अलग key–value mapping चाहिए, इसलिए asymmetric storage अपेक्षित है।
- कुछ लोग अटकल लगाते हैं कि bidirectional models (जैसे BERT-style) बेहतर हो सकते हैं, लेकिन thread में यह स्पष्ट नहीं है।
व्यापक निहितार्थ और Skepticism
- Skeptics कहते हैं कि reversal issue इस बात को मजबूत करता है कि LLMs “understand” नहीं करते या सामान्य logical deduction नहीं करते, बल्कि केवल statistical pattern completion करते हैं।
- अन्य लोग तर्क देते हैं कि LLMs in-context reasoning का लगभग अनुमान लगाते हैं, लेकिन training उस क्षमता का उपयोग symmetric generalization को enforce करने के लिए नहीं करती।
- proprietary, लगातार बदलते models से मजबूत वैज्ञानिक निष्कर्ष निकालने पर निराशा है; अधिक open, mechanistic studies की माँग भी दिखती है।
- कुछ लोग निष्कर्ष निकालते हैं कि यह प्रभाव मुख्यतः एक nuance है जिसे ध्यान में रखना चाहिए, कोई विनाशकारी indictment नहीं; जबकि अन्य इसे गहरी सीमाओं का प्रतीक मानते हैं।