OpenAI ने अपना पहला कस्टम चिप पेश किया, जिसे Broadcom ने बनाया है
OpenAI ने “Jalapeño” नाम का अपना पहला custom AI inference chip घोषित किया है, जिसे Broadcom के साथ co-design किया गया है और TSMC द्वारा manufactured किया गया है; इसका लक्ष्य सामान्य GPU-आधारित deployments की तुलना में substantially बेहतर performance-per-watt और लगभग 50% कम लागत है। टिप्पणीकार इसे एक व्यापक बदलाव का हिस्सा मानते हैं, जिसमें बड़े AI labs और cloud providers Nvidia की pricing और power constraints से बचने के लिए अपने accelerators बना रहे हैं, हालांकि बहुत से लोग concrete specs की कमी और यह सवाल उठाते हैं कि इसमें कितना Broadcom IP है बनाम वास्तविक OpenAI hardware innovation। चर्चा AI-assisted chip design, Cerebras और Google के TPU efforts जैसे प्रतिस्पर्धियों पर प्रभाव, और क्या अत्यधिक specialized hardware—यहाँ तक कि silicon में सीधे baked models—अगली model generation से पहले लाभदायक हो पाएँगे, इन विषयों पर भी केंद्रित है.
चिप का उद्देश्य और स्थिति
- Jalapeño को प्रशिक्षण के लिए नहीं, बल्कि केवल inference accelerator के रूप में प्रस्तुत किया गया है।
- लक्ष्य है “typical” AI GPUs की तुलना में प्रदर्शन-प्रति-वॉट में काफी बेहतर और लगभग 50% कम लागत, और पहली तैनाती 2026 के अंत तक लक्षित है।
- कई टिप्पणीकारों का कहना है कि अब कुल खर्च का अधिकांश हिस्सा inference पर जाता है; चल रहे token costs को optimize करना training speed से अधिक रणनीतिक माना जा रहा है।
Broadcom, TSMC और उद्योग संरचना
- Chips को TSMC पर fab किया गया है और Broadcom के साथ co-design किया गया है, जो पहले से Google के साथ TPUs और अन्य hyperscalers के साथ custom ASICs पर साझेदारी करता है।
- Broadcom को ASIC और interconnect IP में एक दिग्गज, और foundries तथा memory vendors के साथ मजबूत allocation agreements वाला बताया गया है।
- कुछ लोग OpenAI को चेतावनी देते हैं कि Broadcom एक आक्रामक, ग्राहक-अनुकूल न रहने वाला operator है (VMware/CA/Symantec अनुभवों का हवाला देते हुए)।
Nvidia और अन्य accelerators पर प्रभाव
- कई लोग इसे एक व्यापक बदलाव का हिस्सा मानते हैं: Google TPUs, Amazon/Anthropic Trainium, Microsoft Maia, Meta/Broadcom ASICs।
- सहमति: general-purpose training में Nvidia संभवतः dominant बना रहेगा, लेकिन hyperscaler inference में उसकी हिस्सेदारी घटेगी।
- Cerebras को यह कितना threat देता है, इस पर बहस है: कुछ मानते हैं OpenAI का अपना chip उन्हें बाहर कर देगा; अन्य कहते हैं Cerebras niche/training को target करता है और उसके पास पहले से OpenAI partnership है।
तकनीकी बहसें
- memory bandwidth और architecture पर गहरा ध्यान: unified SoCs (Apple), LPDDR बनाम HBM, और prefill latency बनाम raw bandwidth के tradeoffs।
- स्पष्टीकरण कि PR photo में 50–60 dies वाला wafer दिखाया गया है, न कि Cerebras जैसी wafer-scale engine।
- “baking weights into silicon” (जैसे Taalas) पर विस्तृत पक्ष-विमर्श: अत्यधिक speed/efficiency की संभावना, लेकिन inflexible और KV-cache-limited; इसे स्थिर, छोटे models या edge/robotics उपयोग के लिए बेहतर माना गया।
AI-सहायता प्राप्त chip design का दावा
- प्रेस भाषा कहती है कि OpenAI models ने design और optimization को “accelerated” किया।
- कुछ लोगों का मानना है कि इसका मतलब सिर्फ इतना है कि engineers ने HDL, testbenches, scripts, email आदि के लिए LLMs का इस्तेमाल किया।
- दूसरे लोग OpenAI की AI-for-chip-design hiring की ओर ध्यान दिलाते हैं, लेकिन कई अभी भी संदेह में हैं कि नौ महीने from-scratch, AI-designed 3nm chip के लिए पर्याप्त हैं या नहीं।
व्यावसायिक रणनीति, जोखिम और moats
- इसे OpenAI के विशाल inference costs और Nvidia पर निर्भरता कम करने, और भविष्य के IPO को justify करने के लिए आवश्यक माना गया।
- अस्पष्ट metrics (“substantially better,” “typical GPUs”) और concrete specs की कमी को लेकर skepticism।
- कुछ का तर्क है कि Nvidia का असली moat software है; एक ही internal model family के लिए यह उतना महत्वपूर्ण नहीं है।
- यह चिंता भी उठाई गई कि ultra-fast, custom hardware का संकेंद्रण कुछ ही labs में हो रहा है, जिससे छोटी कंपनियाँ धीमी, metered APIs तक सीमित रह जाती हैं।
सांस्कृतिक और विविध प्रतिक्रियाएँ
- “Jalapeño” नाम पर मिश्रित प्रतिक्रियाएँ आईं (cringe, क्षेत्रीय cliché, या सिर्फ एक और arbitrary codename)।
- कुछ लोग बड़ी RAM खरीद और custom chips को उच्च memory prices का कारण मानते हैं।
- कुछ इसे अपरिहार्य मानते हैं: “अगर software की परवाह है, तो hardware बनाओ”; जबकि कुछ इसे scope creep और pre-IPO hype मानते हैं।