ट्रांसफॉर्मर्स बनाने वाले Google कर्मचारी
R&D, टैक्स, और कॉर्पोरेट प्रोत्साहनों की भूमिका
- कई टिप्पणियाँ तर्क देती हैं कि “फूला हुआ” R&D सामाजिक रूप से मूल्यवान है; बड़े ब्रेकथ्रू अक्सर ऐसे प्रोजेक्ट्स से आते हैं जिनसे तुरंत राजस्व नहीं मिलता।
- इस पर बहस है कि क्या R&D वास्तव में “टैक्स-फ्री” है: सामान्य खर्च कटौतियों और R&D टैक्स क्रेडिट तथा अमोर्टाइज़ेशन नियमों के बीच अंतर।
- कुछ लोग R&D टैक्स संरचनाओं को बड़ी टेक कंपनियों के लिए सब्सिडी मानते हैं; दूसरे “टैक्स-फ्री” framing का विरोध करते हैं।
इमिग्रेशन, विविधता, और प्रतिभा का संकेंद्रण
- कई लोग इस बात पर जोर देते हैं कि ट्रांसफॉर्मर टीम लगभग पूरी तरह पहली पीढ़ी के आप्रवासियों या आप्रवासी माता-पिता के बच्चों से बनी थी।
- कुछ इसे इस बात का प्रमाण मानते हैं कि अमेरिका (और विशेष रूप से कैलिफ़ोर्निया) प्रभावी रूप से वैश्विक प्रतिभा को आकर्षित करता है।
- अन्य लोग ध्यान दिलाते हैं कि अमेरिकी इमिग्रेशन और वीज़ा प्रणालियाँ कुछ देशों की तुलना में खास तौर पर अधिक स्वागतपूर्ण नहीं हैं, और स्नातक कार्यक्रमों में विविधता सामान्य जनसंख्या की तुलना में अधिक है।
Google का चूका हुआ अवसर और प्रबंधन पर आलोचना
- बार-बार उठने वाला विषय: Google के पास लोग, पेपर, और इन्फ्रास्ट्रक्चर थे ताकि वह “OpenAI” बन सके, लेकिन उसने ट्रांसफॉर्मर्स को आक्रामक रूप से प्रोडक्टाइज़ नहीं किया।
- दिए गए कारण: सार्वजनिक प्रतिक्रिया का डर, search/Assistant पर प्रभाव, आंतरिक राजनीति, AI-safety गेटकीपिंग, और CEO/बोर्ड की रूढ़िवादिता।
- कुछ लोग इसे क्लासिक “innovator’s dilemma” मानते हैं: एक ऐसे ad business की रक्षा करना जिसे chatbots बाधित कर सकते हैं।
- अन्य तर्क देते हैं कि Google विजेताओं को बाद में खरीद सकता है, हालांकि कुछ कहते हैं कि आधुनिक VC dynamics के कारण “बस खरीद लो” अब यथार्थवादी नहीं है।
Search और Ads पर प्रभाव
- कुछ उपयोगकर्ता पहले ही कई क्वेरीज़, खासकर तकनीकी, Google search से LLMs की ओर शिफ्ट कर चुके हैं।
- एक दृष्टिकोण: LLMs Google के भविष्य के ad revenues को खा जाते हैं और web ecosystem को खतरे में डालते हैं।
- विरोधी दृष्टिकोण: LLMs फिलहाल गैर-लाभकारी fact-finding queries को absorb कर रहे हैं; commercial intent अभी भी traditional search और ad networks के पक्ष में है।
“Modern AI” क्या है और ट्रांसफॉर्मर्स की भूमिका
- उन headlines पर असहमति है जो दावा करती हैं कि ट्रांसफॉर्मर्स ने “modern AI” का आविष्कार किया।
- समर्थक: ट्रांसफॉर्मर्स वर्तमान LLM hype के पीछे की core architecture हैं और इन्होंने आज की प्रणालियों को संभव बनाया।
- संदेहवादी: प्रगति संचयी है—attention, deep nets, big data, GPUs, diffusion models, और पहले के काम सभी महत्वपूर्ण हैं; “modern AI” ट्रांसफॉर्मर्स से पहले से मौजूद है।
- कुछ लोग “bitter lesson”-शैली के simple architectures के साथ scaling पर जोर देते हैं; अन्य मानते हैं कि भविष्य की दिशाएँ world models, memory, और अधिक deterministic structures पर ज्यादा निर्भर हो सकती हैं।
Self-Driving और ट्रांसफॉर्मर्स
- कुछ लोगों को उम्मीद थी कि self-driving “modern AI” को परिभाषित करेगा, chatbots को नहीं।
- अन्य मानते हैं कि multimodal transformers अंततः उच्च-स्तरीय driving competence में केंद्रीय होंगे, खासकर rare/edge cases के लिए, लेकिन वर्तमान compute और safety सीमाओं का उल्लेख करते हैं।
Prior Art और श्रेय का बँटवारा
- कई पोस्ट उन narratives की शिकायत करती हैं जो एक ही कंपनी या पेपर को जरूरत से ज्यादा श्रेय देती हैं, क्योंकि attention और sequence models में prior art काफी व्यापक था।
- इतिहास के बारे में ऐसी तुलनाएँ दी जाती हैं कि कैसे कभी-कभी श्रेय को बहुत सरल बना दिया जाता है (जैसे physics या CRISPR में)।
उद्योग बनाम अकादमिक जगत और Compute
- चर्चा में कहा गया है कि पिछले दशक की अधिकतर प्रगति universities के बजाय बड़े industrial labs ने चलाई, क्योंकि compute और salaries का असर था।
- कुछ लोग अफसोस जताते हैं कि कई foundational contributors (जैसे mathematicians, पहले के ML researchers) लोकप्रिय पुनर्कथनों में लगभग अदृश्य रह जाते हैं।
सहयोग, कार्यालय, और संस्कृति
- टिप्पणीकार बताते हैं कि ट्रांसफॉर्मर के लेखकों ने एक ही office में साथ काम किया; कुछ लोग इसे निजी offices और deep-work time के साथ in-person collaboration के समर्थन के रूप में लेते हैं।
- अन्य लोग कहते हैं कि सामान्य open offices ध्यान भटकाते हैं, और एक संतुलित या hybrid approach का समर्थन करते हैं.