उद्धरण कार्टेल गणितज्ञों—और उनके विश्वविद्यालयों—को रैंकिंग में ऊपर चढ़ने में मदद करते हैं
उद्धरण मीट्रिक्स और विश्वविद्यालय रैंकिंग के दुरुपयोग की तुलना SEO स्पैम से की जा रही है, जहाँ “citation cartels,” पीयर समीक्षा में जबरन उद्धरण, और बढ़ी हुई लेखक सूचियों की रिपोर्टें वैज्ञानिक गुणवत्ता के बजाय संस्थागत प्रतिष्ठा बढ़ाने के लिए उपयोग होने की बात कहती हैं। टिप्पणीकार इसे Goodhart के नियम और अकादमिक जगत में व्यापक विकृत प्रोत्साहनों से जोड़ते हैं, यह तर्क देते हुए कि जब करियर और फंडिंग सरल मात्रात्मक मापों से जुड़ी हों, तो उन मापों का व्यवस्थित दुरुपयोग होता है। कुछ लोग उद्धरण-आधारित रैंकिंग को छोड़ने या उन्हें बहुत कम महत्व देने, पुनरुत्पादन और अखंडता जाँच को मजबूत करने, और ऐसे वैकल्पिक प्रकाशन मॉडलों को वित्तपोषित करने का आह्वान करते हैं जो impact scores के बजाय पुनरुत्पादनीय, अर्थपूर्ण कार्य को प्राथमिकता दें।
उद्धरण कार्टेल और मीट्रिक का दुरुपयोग
- कई लोग उद्धरण कार्टेल को मीट्रिक-चालित मूल्यांकन और विश्वविद्यालय रैंकिंग का एक पूर्वानुमेय परिणाम मानते हैं।
- इसकी तुलना SEO स्पैम और PageRank के दुरुपयोग से की जाती है: लिंक फ़ार्म ↔ उद्धरण रिंग।
- कुछ का कहना है कि यह व्यवहार दशकों से मौजूद है; नया सिर्फ इसका पैमाना और रैंकिंग में इसकी केंद्रीय भूमिका है।
Goodhart का नियम और गलत इस्तेमाल किए गए मीट्रिक
- Goodhart के नियम का बार-बार संदर्भ दिया जाता है: जब उद्धरण एक लक्ष्य बन जाते हैं, तो वे प्रभाव या गुणवत्ता का अच्छा माप रहना बंद कर देते हैं।
- उद्धरण खराब या खंडित किए जा चुके काम के लिए भी अधिक हो सकते हैं, या सिर्फ इसलिए क्योंकि कई लोग किसी ट्रेंडिंग विषय पर काम कर रहे होते हैं।
- कई लोग तर्क देते हैं कि उद्धरण गिनती मुख्यतः प्रशासकों और रैंकिंग के काम आती है, शोधकर्ताओं के नहीं।
पीयर समीक्षा, जबरन उद्धरण, और लेखकत्व
- कई किस्सों में समीक्षकों द्वारा अप्रासंगिक या स्वार्थपूर्ण उद्धरण “सुझाने” और संपादकों द्वारा लेखकों को अपने जर्नल का उद्धरण देने के लिए प्रेरित करने की बात कही गई है।
- जबरन या राजनीतिक लेखकत्व (विशेषकर चिकित्सा में) और बढ़ी हुई लेखक सूचियाँ आम बताई गई हैं।
- कुछ लोग उद्धरण सुझावों का बचाव करते हैं, यह कहते हुए कि ये अक्सर प्रासंगिक पूर्व कार्य की वैध ओर इशारा होते हैं; अनुभव क्षेत्र और मंच के अनुसार बहुत भिन्न होता है।
पुनरुत्पादन और शोध की गुणवत्ता
- मजबूत दावे किए जाते हैं कि कई क्षेत्रों के अधिकांश पेपर पुनरुत्पादित नहीं किए जा सकते; अन्य इसे बढ़ा-चढ़ाकर बताया गया मानते हैं और क्षेत्रीय अंतर की ओर इशारा करते हैं।
- गणित को अक्सर अपवाद के रूप में उद्धृत किया जाता है (परिणामों की प्रूफ़-चेकिंग होती है), हालांकि अन्य लोग नोट करते हैं कि गैर-तुच्छ त्रुटियाँ फिर भी सामने आती हैं।
- भौतिकी, CS, और इंजीनियरिंग को वास्तविक-विश्व सत्यापन से अधिक सीमित बताया जाता है, लेकिन फिर भी संदिग्ध विश्लेषण और खराब कोड से मुक्त नहीं।
विषयगत अंतर और विखंडन
- बहुत छोटे विशेषीकृत “क्लब” निच क्षेत्रों को नियंत्रित करते हैं; वे एक-दूसरे के काम की समीक्षा करते हैं और अच्छे या बुरे, स्थानीय मानक तय कर सकते हैं।
- कुछ क्षेत्र (AI/ML) मात्रा से दब जाते हैं, जिससे कम उद्धरण या पुनः-खोज होती है; अन्य (मनोविज्ञान, कुछ बायोमेडिकल क्षेत्र) विशेष रूप से नाज़ुक माने जाते हैं।
- इस पर बहस होती है कि शुद्ध गणित वास्तव में अनुप्रयुक्त कार्य को कितना feed करता है, और सिद्धांत कितनी बार अनुप्रयोग से अलग रहता है।
रैंकिंग, प्रतिष्ठा, और प्रस्तावित सुधार
- उद्धरणों पर आधारित रैंकिंग को व्यापक रूप से “स्पष्ट रूप से गेमेबल” कहकर आलोचना की जाती है, फिर भी वे प्रभावशाली बनी रहती हैं।
- कुछ का तर्क है कि प्रतिष्ठित संस्थानों को अधिक खोना पड़ता है और इसलिए वे अधिक सूक्ष्म तरीकों से धोखा देते हैं; अन्य कठोर राज्य मीट्रिक वाले निम्न-स्तरीय सिस्टमों में खुला दुरुपयोग देखते हैं।
- सुझावों में शामिल हैं: मात्रात्मक रैंकिंग को छोड़ देना या उन्हें बहुत हल्के में लेना, खुले प्रीप्रिंट, अधिक पुनरुत्पादन और अखंडता कार्य, और संभवतः स्वतंत्र “integrity institutes” — हालांकि प्रोत्साहनों और प्रभावशीलता को लेकर संदेह बना हुआ है।