जब एक LLM पाँचवीं कक्षा से आगे की सामग्री कभी नहीं देखता, तो क्या होता है?

प्रयोग का दायरा और सेटअप

• मॉडल को ऐसे टेक्स्ट पर प्रशिक्षित किया गया है जिसे लगभग “≤5वीं कक्षा” / K–5 U.S. curriculum तक फ़िल्टर किया गया था।
• फ़िल्टरिंग पाइपलाइन: एक शैक्षिक वेब कॉर्पस से शुरुआत, फिर शब्दों की age-of-acquisition thresholds लागू की गईं (उन नमूनों को हटाया गया जिनमें >5% शब्द age 12 से ऊपर थे), उच्च-स्तरीय गणितीय प्रतीकों को हटाया गया, और फिर split को refine करने के लिए एक classifier प्रशिक्षित किया गया।
• कुछ टिप्पणीकार अधिक पारदर्शिता चाहते हैं: शामिल डेटा के उदाहरण और grade level के human spot-checks; dataset अभी जारी नहीं किया गया है।

लीकेज और डेटा-गुणवत्ता संबंधी चिंताएँ

• कई प्रतिक्रियाएँ सुझाव देती हैं कि मॉडल स्पष्ट रूप से 5वीं कक्षा से आगे की अवधारणाएँ जानता है (Rayleigh scattering, quantum entanglement, Schrödinger’s cat jokes, basic Python, आदि)।
• लोगों का अनुमान है कि फ़िल्टर अपूर्ण है; “5% advanced words allowed” और वयस्कों द्वारा लिखी गई बच्चों की सामग्री उच्च-स्तरीय ज्ञान को भीतर ला सकती है।
• दूसरे तर्क देते हैं कि इनमें से कई व्याख्याएँ वास्तव में बच्चों की विज्ञान पुस्तकों में आती हैं, इसलिए वे अभी भी एक संभावित K–5 कॉर्पस के भीतर हो सकती हैं।

व्यवहार, उत्तर की गुणवत्ता, और “पाँचवीं-कक्षा की बुद्धि”

• उपयोगकर्ता बेहद गलत या असंगत उत्तरों की रिपोर्ट करते हैं (जैसे, five-times table, square root of −1, asbestos का प्रभाव, किसी function को maximize करना, sorting algorithms का infinite loop पैदा करना)।
• कुछ लोग इसे “बस एक कमजोर मॉडल” मानते हैं, न कि पाँचवीं कक्षा के बच्चे का सुसंगत समकक्ष; एक वास्तविक बच्चा अक्सर “मुझे नहीं पता” कहेगा।
• अन्य लोग इसे elementary पाठों के हर प्रकार का सर्वभक्षी पाठक मानते हैं, जिसके पास perfect recall है लेकिन वास्तविक reasoning बहुत कम है।

Hallucinations, “मुझे नहीं पता” कहने में असमर्थता, और RLHF

• एक बड़ा उप-धागा इस पर बहस करता है कि LLMs बहुत कम “मुझे नहीं पता” क्यों कहते हैं:
  • एक दृष्टिकोण: base models ऐसे टेक्स्ट की नकल करते हैं जहाँ लोग लगभग कभी “मुझे नहीं पता” पर समाप्त नहीं होते।
  • प्रतिवाद: instruction tuning और RLHF मॉडल को अनिश्चितता व्यक्त करने के लिए स्पष्ट रूप से प्रशिक्षित कर सकते हैं, लेकिन यह उन benchmarks से टकराता है जो आत्मविश्वासी उत्तरों को पुरस्कृत करते हैं।
• “know-it-all” व्यवहार पर चर्चा: LLMs sycophantic होते हैं, शायद ही subjective रूप से विचारों को ठुकराते हैं; अन्य लोग नोट करते हैं कि नए frontier models अब अक्सर अधिक push back करते हैं या उपयोगकर्ताओं को सही करते हैं।
• कुछ लोग RLHF को variance घटाने से जोड़ते हैं: कम refusals benchmarks स्कोर और engagement को अधिकतम कर सकते हैं।

क्षमता की सीमाएँ और AGI के लिए निहितार्थ

• थ्रेड में पेपर से paraphrased मुख्य दावा: scaling, instruction tuning, RL, और in-context tricks curriculum जो सिखाता है उसे amplify करते हैं, लेकिन उसके परे नहीं ले जाते; pretraining filter एक प्रभावी capability ceiling तय करता है।
• कई लोगों को यह परिणाम महत्वपूर्ण लगता है: यह सुझाव देता है कि बुद्धिमत्ता प्रशिक्षण डेटा की सीमा से काफ़ी हद तक बंधी है, और यह उस आशा को चुनौती देता है कि केवल बड़े पैमाने से सीमित corpora से गुणात्मक रूप से नया ज्ञान निकल आएगा।
• कुछ इसे “stochastic parrot” आलोचनाओं की पुष्टि मानते हैं; अन्य अभी भी इस बात में रुचि रखते हैं कि क्या stronger reasoning training, memory, और long-horizon tasks constrained curriculum से भी नई खोजें उत्पन्न कर सकते हैं।

वैकल्पिक training ideas और संभावित उपयोग

• प्रस्तावों में शामिल हैं:
  • प्रत्येक grade level पर checkpoints के साथ सख्त curriculum-based training।
  • Curiosity-driven growth: जब मॉडल अज्ञान स्वीकार करे, तो एक बड़ा मॉडल नया डेटा fetch करके जोड़ दे।
  • noisy web mixtures के बजाय अत्यधिक verified, well-balanced corpora पर training।
• कुछ लोग niche applications देखते हैं: home automation या safer assistants के लिए एक constrained K–5 model, हालांकि persistent hallucinations को लेकर चिंताएँ बनी रहती हैं।