GPT-5.5 MIT-licensed GLM-5.2 की तुलना में 3 गुना अधिक hallucinate करता है

Hallucination metrics and interpretation

• चर्चा किए गए hallucination rates सशर्त हैं: वे व्यवहार को केवल तब मापते हैं जब मॉडल को जानकारी नहीं होती या वह abstain करता है, न कि रोज़मर्रा के उपयोग में कुल त्रुटि को।
• उदाहरण: समान गलत-उत्तर संख्या वाले मॉडल अपने abstain करने की आवृत्ति के आधार पर बहुत अलग “hallucination rates” दिखा सकते हैं।
• कुछ लोगों का तर्क है कि यह metric फिर भी उपयोगी है क्योंकि यह “मनगढ़ंत बातें बनाने की प्रवृत्ति” को दर्शाता है; अन्य लोग एक global error rate (misleading tokens / total tokens) को प्राथमिकता देते हैं।
• AA-Omniscience को एक बेहतर benchmark के रूप में उजागर किया गया है: सही उत्तरों को पुरस्कृत किया जाता है, hallucinations को दंडित किया जाता है, और “मुझे नहीं पता” तटस्थ होता है, इसलिए हमेशा अनुमान लगाना दंडित होता है।

Model size, data, and hallucinations

• Thread इस विचार का विरोध करती है कि “bigger = more hallucinations” एक सार्वभौमिक नियम है।
• उदाहरण: DeepSeek का एक छोटा variant बहुत अधिक hallucinate करता है; एक बड़ा proprietary model अपेक्षाकृत कम hallucination rate दिखाता है, लेकिन कुल hallucinations लगभग एक छोटे मॉडल जितने ही हैं।
• कुछ लोग सुझाव देते हैं कि बड़े factual datasets और aggressive scaling मॉडल को abstain करने के बजाय “हर सवाल का जवाब देने” के लिए प्रशिक्षित कर सकते हैं।
• अन्य लोग अधिक parameters और tokens से क्षमता में घटते हुए लाभ (diminishing returns) नोट करते हैं, लेकिन यह स्पष्ट प्रमाण नहीं है कि केवल size ही hallucinations को चलाती है।

Prompting, training, and system design

• कई टिप्पणियाँ इस बात पर जोर देती हैं कि raw model comparisons उन prompt engineering और agent setups को अनदेखा करते हैं जो “मुझे नहीं पता” कहने को प्रोत्साहित या पुरस्कृत करते हैं।
• आलोचना: “bad prompting” को दोष देना एक दोषपूर्ण product के लिए users को दोष देने जैसा है; अपेक्षाएँ marketing से बनती हैं जो reliability को ज़रूरत से ज़्यादा बेचती है।
• यह अटकल लगाई जाती है कि वर्तमान RLHF/RLVR pipelines सुरक्षित abstentions के बजाय दिलचस्प, आत्मविश्वासी उत्तरों को optimize करती हैं, जिससे “don’t know” व्यवहार का अपर्याप्त प्रशिक्षण होता है।

Code generation and software quality

• इस बात की तीखी चिंता है कि LLM-लिखा code देखने में अच्छा लग सकता है, लेकिन उसमें सूक्ष्म त्रुटियाँ और “anomalies” हो सकती हैं जो मिलकर असंवहनीय systems बना देती हैं।
• अन्य लोग अच्छे परिणाम बताते हैं जब LLMs को assistants के रूप में उपयोग किया जाता है, और humans review करते हैं, tests जोड़ते हैं, तथा standard engineering practices लागू करते हैं।
• कई लोग नोट करते हैं कि pre-LLM enterprise code भी अक्सर खराब ही होता है; critics जितना मानते हैं, बार शायद उतना ऊँचा नहीं है।

Human analogies, limits, and possible fixes

• मानव अति-आत्मविश्वास और “bullshitting” से तुलना की जाती है, लेकिन साथ ही “मुझे नहीं पता” को जल्दी पहचानने की मानवीय क्षमता से भी, जिसमें consequences और fear मदद करते हैं।
• विचार सामने रखे गए: अलग “amygdala-like” modules, hallucinations का पता लगाने के लिए secondary models, बेहतर incentives (गलत उत्तरों को abstentions से अधिक दंडित करना)।
• कई लोगों को संदेह है कि वर्तमान architectures के साथ hallucinations पूरी तरह समाप्त की जा सकती हैं; सबसे अच्छी उम्मीद frequency कम करने और self-uncertainty signaling सुधारने की है।