Revolut ने self-hosted GLM की ओर रुख किया
एक प्रमुख fintech ने OpenAI और Anthropic से अपने AI workload का बड़ा हिस्सा एक self-hosted GLM model पर स्थानांतरित कर दिया है, जो किराये के Nvidia hardware पर चल रहा है, और बताया गया है कि इससे per-token costs लगभग 90% घट गई हैं, साथ ही internal token usage caps भी बढ़ गए हैं। टिप्पणीकार यह बहस करते हैं कि open-weight और “frontier” models के बीच quality gap क्या अब भी अधिकांश coding और back-office tasks के लिए मायने रखता है, खासकर regulatory pressures, data-sovereignty concerns, और बड़े GPU clusters बनाम API pricing की अर्थव्यवस्था को देखते हुए। यह थ्रेड एक व्यापक प्रवृत्ति भी दिखाता है: enterprises on-prem या dedicated-cloud LLMs के साथ प्रयोग कर रहे हैं, जबकि hardware depreciation, vendor moats, और AI का सॉफ़्टवेयर engineering jobs पर प्रभाव जैसे प्रश्न बने हुए हैं।
लागत और इन्फ्रास्ट्रक्चर अर्थशास्त्र
- Revolut के अनुसार self-hosted GLM (रेंट किए गए 56× B200s के माध्यम से) पर प्रति मिलियन tokens लगभग $0.30 की लागत आती है, जो पिछले Anthropic/OpenAI खर्च का लगभग 1/10 है।
- समुदाय के मोटे अनुमान: 56 B200s खरीदने में $2.5–3M लग सकते हैं, या सार्वजनिक cloud GPU कीमतों पर किराये पर लेने में $250–300k/माह, जिससे उच्च उपयोग पर यह बदलाव लाभकारी दिखता है।
- खरीद बनाम किराया पर बहस: कई लोगों का कहना है कि अधिकतर के लिए metal किराये पर लेना (cloud या specialized providers से) अधिक यथार्थवादी है; हार्डवेयर जुटाना कठिन है और Nvidia की हर नई generation के साथ तेजी से मूल्यह्रास होता है।
- कुछ लोगों को उम्मीद है कि frontier labs margins और relevance बनाए रखने के लिए aggressive enterprise plans, जैसे प्रति-engineer flat pricing, लेकर जवाब देंगे।
मॉडल गुणवत्ता: Open बनाम Frontier
- कई लोगों का दावा है कि GLM 5.3 और ऐसे ही open-weight models अधिकांश coding/SE tasks के लिए “काफी अच्छे” हैं, खासकर अच्छे prompts और harnesses के साथ।
- अन्य का कहना है कि frontier models (Claude, GPT, आदि) अभी भी reasoning, autonomy, और code navigation में स्पष्ट रूप से बेहतर हैं, खासकर complex repos पर; फिर से उनकी ओर लौटना “दिन और रात” जैसा अपग्रेड लगता है।
- सहमति: quality gap वास्तविक है लेकिन सिकुड़ रहा है; कई business workloads के लिए अब absolute peak quality से ज्यादा कीमत और control मायने रखते हैं।
डेटा प्राइवेसी, अनुपालन और “Zero Data Retention”
- एक बैंक के लिए, workflows को नियंत्रित infrastructure के भीतर रखना (या कम से कम किसी trusted GPU provider पर) नियामकीय और data-sovereignty कारणों से महत्वपूर्ण माना जाता है।
- कई लोग तर्क देते हैं कि SaaS LLM vendors की “zero data retention” प्रतिज्ञाएँ सिर्फ contractual “pinky promises” हैं, जिनमें कानूनी अपवाद होते हैं और सत्यापन संभव नहीं होता।
- सुझाई गई hierarchy: own hardware > confidential-computing providers > generic API vendors. दूसरे लोग जवाब देते हैं कि audit और contract law कई संगठनों के लिए पर्याप्त हैं।
Self-Hosting के अनुभव और tooling
- कई commenters on-prem या local open models (Qwen, Gemma, GLM, आदि) के साथ सफलता की रिपोर्ट करते हैं, अक्सर modest hardware पर, जिससे data-trust concerns समाप्त हो जाते हैं।
- जोर harness पर है: logging, tools, standardized APIs, और lessons files base model जितने ही महत्वपूर्ण हैं। कुछ लोग ऐसे setups साझा करते हैं जो पिछली बातचीतों को “lessons” में बदलकर भविष्य के contexts में inject करते हैं।
- कुछ लोग engine-level bugs (जैसे vLLM + GLM correctness issues) का उल्लेख करते हैं और Revolut के specific stack के बारे में सोचते हैं।
डेवलपर उत्पादकता और token rationing
- एक प्रमुख रिपोर्टेड लाभ: token rationing हटाना। जैसे ही tokens व्यावहारिक रूप से “flat-rate” हुए, usage बढ़ गया और उत्पादकता (और exploration) बढ़ी।
- विपरीत दृष्टिकोण: कुछ कंपनियों में unlimited tokens होने पर इससे “productivity का भ्रम” पैदा हुआ और बहुत सारा AI-generated slop बना।
- कई लोग बताते हैं कि open models सटीक prompts देने पर instructions बेहतर मानते हैं, और अस्पष्टता (“fix all the problems”) खराब परिणाम देती है।
श्रम बाजार और कौशल
- मजबूत चिंता है कि junior dev work अब काफी हद तक automatable हो गया है; कुछ टीमें juniors को मुख्यतः सीखने के लिए रखती हैं, जबकि seniors AI-assisted code की समीक्षा करते हैं।
- Seniors को व्यापक रूप से AI के मुख्य लाभार्थी माना जाता है, जो कहीं अधिक उत्पादक हो गए हैं; juniors के लिए hiring headwinds हैं और उन्हें AI workflows proactively सीखने की सलाह दी जाती है।
- इस पर बहस है कि क्या कर्मचारियों को AI tools पर अपना समय/पैसा लगाना चाहिए बनाम employers को subscriptions देनी चाहिए, और job security, work–life balance, तथा societal impact जैसे व्यापक सवालों पर भी चर्चा है।