मुझे यह मानने में कठिनाई होती है कि AI R&D प्रतिभाशाली है

बड़े भाषा मॉडल वास्तव में प्रतिभाशाली, स्वायत्त शोध और विकास कर सकते हैं या नहीं, इस दावे पर संदेह बढ़ रहा है; कई लोग इन्हें मौजूदा काम के उन्नत पैटर्न-मिलान से अधिक नहीं मानते। टिप्पणीकार LLMs को थकाऊ काम, कोड स्कैफोल्डिंग, साहित्य समीक्षा, और कुछ गणितीय proofs के लिए शक्तिशाली त्वरक बताते हैं, लेकिन judgment, system-level design, और भारी मानवीय-built “harnesses” व निगरानी के बिना सचमुच नए विचारों में लगातार कमजोर पाते हैं। दूसरे लोग तर्क देते हैं कि आंतरिक frontier models, tool use, और agent swarms पहले ही विशेष डोमेनों में इन सीमाओं को आगे धकेल रहे हैं, जिससे संकेत मिलता है कि scale और बेहतर training क्षमताओं को बढ़ाते रहेंगे, भले ही वर्तमान प्रणालियाँ अक्सर “पेड़ों के लिए जंगल” खो देती हों.

वर्तमान LLMs की अनुमानित क्षमताएँ बनाम सीमाएँ

  • कई लोग LLMs को थकाऊ कामों के लिए शक्तिशाली सहायक मानते हैं: साहित्य समीक्षा, प्रयोगों की रूपरेखा, डायग्नॉस्टिक्स, विज़ुअलाइज़ेशन, कोड, और दस्तावेज़ीकरण।
  • इन्हें अक्सर जानकार लेकिन “कम निर्णय-क्षमता” वाले कहा जाता है – नियमित कार्यों में अच्छे, लेकिन बड़े-चित्र के तर्क और प्राथमिकता-निर्धारण में कमजोर।
  • कई लोग नोट करते हैं कि मॉडल गैर-विशेषज्ञों को प्रभावित करते हैं, लेकिन क्षेत्र-विशेषज्ञों को सतही या त्रुटिप्रवण लगते हैं, जो “Gell-Mann amnesia” जैसी गतिशीलता को दर्शाता है।

स्वायत्त एजेंट और हार्नेस

  • उपयोगकर्ता बताते हैं कि खुले-समाप्ति वाले R&D समस्याओं पर एजेंटों को “अपने हाल पर छोड़ने” से खराब परिणाम मिलते हैं।
  • प्रभावी प्रणालियाँ जटिल हार्नेस पर निर्भर करती हैं: कई विशेषीकृत सब-एजेंटों के DAGs, सावधानी से चरणबद्ध कार्य, और कड़ी मानवीय निगरानी।
  • एजेंट स्वार्म समानांतर में कई विचारों की खोज कर सकते हैं, लेकिन घटते प्रतिफल दिखाते हैं और पर्याप्त compute तथा engineering की आवश्यकता होती है।

रचनात्मकता, नवीनता, और “stochastic parrot” बहस

  • एक पक्ष का तर्क है कि LLMs केवल मौजूदा पाठ का पुनर्मिश्रण करते हैं, जिससे फीके, औसत आउटपुट बनते हैं और वे “pure creativity” में असफल रहते हैं।
  • दूसरे पक्ष का कहना है कि अधिकांश मानवीय रचनात्मकता भी पुनर्संयोजन ही है; मॉडल फिर भी ऐसे विचार दे सकते हैं जो मनुष्यों के लिए नए हों (जैसे चुटकुले, नाम, शोध-युक्तियाँ)।
  • कई लोग नोट करते हैं कि “novel” आम तौर पर तब उभरता है जब मनुष्य शैली, संदर्भ, या cross-domain mappings को सावधानी से सीमित करते हैं।

गणितीय सफलताएँ और proof search

  • हाल की LLM-सहायित proofs (जैसे number theory और complexity में बड़े परिणाम) विवाद का केंद्रीय बिंदु हैं।
  • समर्थकों का कहना है कि ये वास्तविक उच्च-स्तरीय समस्या-समाधान दिखाते हैं, न कि साधारण brute force; वे इसे हजारों PhD-स्तर के गणितज्ञों के विचारों की खोज से तुलना करते हैं।
  • संशयवादियों का हवाला भारी tool use (Lean, search loops), विशाल compute, प्रति प्रयास कम सफलता दर, और अनाकर्षक या अपारदर्शी proofs के रूप में देते हैं। कुछ लोग समझ के बिना प्रगति से डरते हैं।

विशेषज्ञता, संदर्भ, और निर्णय

  • टिप्पणीकार system state को ट्रैक करने, बुनियादी तर्क, डिज़ाइन सौंदर्यशास्त्र, और architecture-स्तर की “vision” में विफलताओं को उजागर करते हैं।
  • LLMs तब उत्कृष्ट होते हैं जब कार्य well-posed हों, वस्तुनिष्ठ रूप से जाँचे जा सकें, और प्रशिक्षण डेटा में समृद्ध रूप से प्रतिनिधित्वित हों (जैसे मानक coding, कुछ ML, कुछ math)।
  • वे धुंधले लक्ष्यों, सूक्ष्म tradeoffs, या उन कार्यों में संघर्ष करते हैं जहाँ “पेड़ों के लिए जंगल न खोना” का कोई स्पष्ट प्रशिक्षण संकेत नहीं होता।

स्केलिंग, आंतरिक मॉडल, और भविष्य की दिशा

  • कुछ लोगों का मानना है कि frontier labs के आंतरिक मॉडल काफी आगे हैं और पहले से तेज़ स्वायत्त R&D सक्षम कर रहे हैं; अन्य लोग ऐसे दावों को अप्रमाणित PR मानते हैं।
  • इस पर असहमति है कि क्या हम किसी सीमा के करीब हैं (स्केल पर घटते लाभ, लगातार गुणात्मक अंतर) या अभी भी एक exponential चरण की शुरुआत में हैं।
  • कई लोग प्रगति को एक “bitter lesson” की तरह देखते हैं: brute-scale search और RL, AI R&D में मानवीय प्रतिभा से अधिक महत्वपूर्ण हो सकते हैं, भले ही स्वयं मॉडल कम प्रतिभाशाली बने रहें।