जब AI बेंचमार्क समतल हो जाते हैं: बेंचमार्क संतृप्ति का एक व्यवस्थित अध्ययन
यह दावा कि बड़े भाषा मॉडल मानक AI बेंचमार्क पर संतृप्ति के कारण “रास्ते के अंत” पर हैं, शोधकर्ताओं और व्यावहारिक उपयोगकर्ताओं से कड़ा विरोध झेल रहा है। कई लोगों का तर्क है कि दिखने वाली समतलता खुद बेंचमार्क की खामियों को दर्शाती है—छोटे, स्थिर, गेम किए जा सकने वाले परीक्षण सेट जिनमें गलत-लेबल वाले या कम-सिग्नल वाले आइटम हैं—न कि मॉडल क्षमता की कोई कठोर सीमा; वे scaling laws और नए मूल्यांकनों की ओर इशारा करते हैं जो अब भी स्थिर प्रगति दिखाते हैं। इस चर्चा में अधिक मज़बूत, विकसित होते, और डोमेन-विशिष्ट मूल्यांकनों की ओर एक बढ़ता हुआ रुझान दिखता है, जैसे multi-agent परिवेश और मालिकाना test suites, ताकि वास्तविक दुनिया की उपयोगिता को बेहतर ढंग से पकड़ा जा सके और benchmark gaming से बचा जा सके।
बेंचमार्क संतृप्ति और इसका क्या मतलब है
- कई बेंचमार्क अब मॉडलों को लगभग 80–90% सटीकता के आसपास समूहित दिखाते हैं, जिसे कुछ लोग “दीवार से टकराना” मानते हैं, जबकि अन्य इसे इस बात का संकेत मानते हैं कि बेंचमार्क शोरयुक्त या दोषपूर्ण हैं।
- कई टिप्पणीकार तर्क देते हैं कि गलत लेबल वाले आइटम, अस्पष्ट प्रश्न, और बेंचमार्क की अंतर्निहित अस्त-व्यस्तता 90% को एक संभावित ऊपरी सीमा बनाती है, बिना मॉडल की सीमाएँ सूचित किए।
- अन्य लोग ध्यान दिलाते हैं कि हज़ारों बेंचमार्क हैं; कुछ जल्दी संतृप्त हो जाते हैं, जबकि अन्य (जैसे नए “last exam” शैली के परीक्षण) अभी भी भेदकारी बने हुए हैं।
- एक दृष्टिकोण: “संतृप्ति” आंशिक रूप से एक चयन प्रभाव है—एक बार आसान कार्य हल हो जाने पर, केवल कठिन, शोरयुक्त अपवाद बचते हैं, जिससे प्रगति को मापना कठिन हो जाता है।
क्या यह LLMs के लिए रास्ते का अंत है?
- एक संशयवादी धड़ा दावा करता है कि तेज़ संतृप्ति वर्तमान “पाठ पर प्रतिगमन” दृष्टिकोणों की मूलभूत सीमाओं का संकेत देती है; वे प्रगति को संकीर्ण, बेंचमार्क-पीछा करने वाले लाभों की ओर स्थानांतरित होता हुआ देखते हैं।
- विरोधी इसे जल्दबाज़ी और डेटा-रहित कहते हैं, और समग्र क्षमता सूचकांकों तथा उन scaling laws की ओर इशारा करते हैं जो अब भी सही हैं।
- कुछ लोगों को लगता है कि अग्रणी मॉडल “सामान्यता” में ठहरे हुए हैं, जबकि गणित और कोडिंग जैसे विशिष्ट क्षेत्रों में सुधर रहे हैं। अन्य हाल के समय में कोडिंग सहायता में नाटकीय लाभ की रिपोर्ट करते हैं।
LLMs बनाम बुद्धिमत्ता को समझना
- एक पक्ष ज़ोर देकर कहता है कि हम यांत्रिक स्तर पर LLMs के काम करने के तरीके को “ठीक-ठीक” जानते हैं (attention, matrix multiplications), और रहस्य के दावों को खारिज करता है।
- अन्य लोग तर्क देते हैं कि निम्न-स्तरीय यांत्रिकी जानना emergent व्यवहार को समझने के समान नहीं है, ठीक वैसे ही जैसे quantum equations जानना materials या cognition को पूरी तरह समझना नहीं है।
- कई लोग नोट करते हैं कि “बुद्धिमत्ता” स्वयं ही अस्पष्ट है, जिससे उसकी ऊपरी सीमा के बारे में दावों को आधार देना कठिन हो जाता है।
मूल्यांकन, गेमिंग, और नए बेंचमार्क
- चिंता: स्थिर, सार्वजनिक बेंचमार्क “benchmaxxing” के लक्ष्य बन जाते हैं, ठीक वैसे ही जैसे PC hardware को विशिष्ट गेम बेंचमार्क के लिए ट्यून किया जाता था।
- प्रस्तावित प्रतिक्रियाएँ:
- प्रशिक्षण संदूषण और गेमिंग को कम करने के लिए मालिकाना (proprietary) या लगातार विकसित होने वाले बेंचमार्क।
- बहु-एजेंट, खुले-समापन (open-ended) परिवेश और गेम-जैसे कार्य जो वास्तविक दुनिया की कोडिंग और “सामाजिक” क्षमताओं को बेहतर पकड़ें।
- छोटे नमूना आकारों के बारे में सावधानी और सूक्ष्म रैंकिंग्स की अधिक व्याख्या न करना।
व्यावहारिक उपयोगिता और भविष्य की प्रगति
- कुछ उपयोगकर्ता रिपोर्ट करते हैं कि नए मॉडल लिखने या सामान्य कार्यों के लिए बेहतर स्कोर होने के बावजूद बदतर महसूस होते हैं।
- अन्य लोग इस बात पर ज़ोर देते हैं कि LLMs का उपयोग करने में “skill” और अत्यधिक सत्यापनीय कार्य (कोडिंग, औपचारिक गणित) मज़बूत, निरंतर सुधार दिखाते हैं।
- इस पर असहमति है कि क्या RL और मानव प्रतिक्रिया (human feedback) का पैमाना बढ़ता रह सकता है या वे आर्थिक और डेटा सीमाओं से टकरा जाएँगे।