Hallucination Rate के आधार पर LLMs
दावे कि GPT‑4 और अन्य बड़े language models अब summarization tasks में केवल 3% समय hallucinate करते हैं, इस बहस को जन्म देते हैं कि ऐसे benchmarks कितने अर्थपूर्ण हैं। Commenters methodology पर सवाल उठाते हैं (जिसमें एक model से दूसरे model का मूल्यांकन कराना शामिल है), इस पर बहस करते हैं कि “hallucination” या “confabulation” सही अवधारणा है, और नोट करते हैं कि summarization जैसे सीमित tasks के बाहर performance तेज़ी से गिरती है। कई लोग hallucinations को current autoregressive architectures की अंतर्निहित विशेषता मानते हैं और high-stakes use में LLMs पर भरोसा करने से पहले उन्हें बेहतर तरीके से detect, contextualize, या redesign करने की ज़रूरत पर ज़ोर देते हैं.
LLM “hallucinations” की प्रकृति
- मूल दृष्टिकोण: autoregressive token-by-token prediction स्वभावतः अनुमान ही पैदा करता है; आप fabrications को पूरी तरह खत्म नहीं कर सकते।
- कुछ लोगों का तर्क है कि LLMs हमेशा वही प्रक्रिया कर रहे होते हैं, इसलिए या तो वे “हमेशा hallucinating” हैं या फिर यह शब्द भ्रामक है।
- अन्य लोग ज़ोर देते हैं कि mechanism एक जैसा होने के बावजूद outputs की factual correctness अलग होती है; “hallucination rate” फिर भी एक उपयोगी metric है।
मानवीय संज्ञान से तुलना
- कई टिप्पणियों में कहा गया कि इंसान भी “gaps भरते” हैं, सवालों को गलत समझते हैं, या आत्मविश्वास से झूठी बातें कह देते हैं; प्रभावी संचार के लिए assumptions आवश्यक हैं।
- इस पर असहमति कि intelligence gaps भरने की मांग करती है या “I don’t know” कहने का समय पहचानने की।
- कुछ लोग LLM behavior की तुलना छोटे बच्चों की कहानी कहने या “brain farts” और confabulations से करते हैं, खासकर जब memory/context सीमित हो।
Architectures और Mitigations
- प्रस्तावित विकल्प: ऐसे models जो अंदर ही अंदर कुछ समय काम करें और फिर autoregressive streams के बजाय पूरा answer एक साथ emit करें।
- चर्चा में तकनीकें: chain-of-thought, पिछले outputs को वापस feed करके self-critique, “convergence” तक iterative verification।
- ऐसे models की इच्छा जो अधिक बार “I don’t know” जवाब दें, लेकिन इस बात पर संदेह कि आज के LLMs वास्तव में knowledge या truth को internally represent करते हैं।
- “backspace token” या fabrication को दंडित करने के लिए अधिक aggressive RLHF जैसी ideas भी सामने आती हैं, लेकिन data और implementation स्पष्ट नहीं हैं।
Terminology पर बहस
- कई लोगों का तर्क है कि “hallucination” गलत metaphor है; “confabulation” या “statistical guess” को प्राथमिकता दी जाती है।
- आपत्ति यह है कि “hallucination” उन systems का मानवीकरण करता है जो केवल language model करते हैं, perception या truth नहीं।
Benchmark का दायरा और Methodology
- Leaderboard केवल summarization पर आधारित है, जिसे commenters अपेक्षाकृत low-hallucination task कहते हैं; संख्याएँ सामान्यीकृत नहीं हो सकतीं।
- Hallucination detection भी एक अन्य model का उपयोग करता है; आलोचकों का कहना है कि यदि model-based detection पूरी तरह reliable होता, तो समस्या का बड़ा हिस्सा हल हो जाता।
- benchmark की methodology पर बाहरी critique का संदर्भ दिया गया है; इसलिए कुछ लोग रिपोर्ट किए गए percentages को सीमित महत्व देते हैं।
- ध्यान दें कि ~17% documents को content filters के कारण कम-से-कम एक model ने reject किया।
Model Differences और Practical Reliability
- GPT‑4 का ~3% summarization hallucination rate व्यापक रूप से संदेहास्पद माना गया; उपयोगकर्ता niche या technical questions, खासकर code (nonexistent libraries/functions), में कहीं अधिक error rates रिपोर्ट करते हैं।
- कुछ लोग देखते हैं कि Mistral और अन्य models आसानी से “plausible nonsense” पैदा कर देते हैं, संभवतः RLHF choices के कारण।
- Commenters ज़ोर देते हैं कि critical applications के लिए, मानव oversight के बिना आज के सबसे अच्छे rates भी अस्वीकार्य रूप से ऊँचे हैं।