Google TPU v5p Nvidia H100 को पछाड़ता है

मूल लेख ↗ Hacker News चर्चा ↗

Google के नए TPU v5p accelerators की तुलना Nvidia के H100 और GH200 chips से की जा रही है, जहाँ टिप्पणीकार केवल raw specs ही नहीं बल्कि memory, bandwidth, power efficiency, और cloud scale पर total cost of ownership भी परख रहे हैं। कई लोग तर्क देते हैं कि Nvidia की असली बढ़त उसका CUDA software ecosystem और व्यापक उपलब्धता है, जबकि TPUs केवल Google Cloud तक सीमित हैं और framework support—विशेषकर PyTorch के लिए—असमान है, जिससे switching costs काफ़ी बढ़ जाते हैं। अन्य लोग AMD, Intel Gaudi, और custom cloud chips जैसे उभरते विकल्पों का उल्लेख करते हैं, लेकिन सवाल करते हैं कि क्या कोई भी Nvidia के परिपक्व tooling और व्यापक compatibility के बिना, खासकर cutting-edge training workloads में, traction हासिल कर पाएगा।

हार्डवेयर तुलनाएँ (TPU v5p बनाम Nvidia H100/GH200)

  • कई टिप्पणियाँ कहती हैं कि Google “एक पीढ़ी पीछे” है, यह देखते हुए कि TPU v5p की तुलना H100 से की जा रही है जबकि Nvidia पहले ही GH200 और B100 की घोषणा कर रहा है।
  • कच्चे स्पेसिफिकेशन्स पर विवाद:
    • TPU v5p: प्रति चिप 95 GB HBM, ~2.7 TB/s मेमोरी बैंडविड्थ, प्रति चिप 4,800 Gbps इंटरकनेक्ट, 3D टोरस टोपोलॉजी।
    • GH200: विवादित आँकड़े; कुछ लोग “सुपरचिप” पर 282 GB HBM3e का दावा करते हैं, जबकि कुछ अन्य स्पष्ट करते हैं कि डेटाशीट में प्रति GPU 96–144 GB दिखाया गया है और 282 GB डुअल-GPU कॉन्फ़िगरेशन को संदर्भित करता है।
  • TPU ऑप्स अनुभव रखने वाले एक इंजीनियर द्वारा पोड विवरण दिए गए: प्रति होस्ट 4 चिप्स, प्रति होस्ट 380 GB HBM, 64 TPUs के “क्यूब्स” (~6 TB HBM, ~29 PFLOPs bfloat16)।
  • आम सहमति: प्रति चिप GH200 संभवतः TPU v5p से बेहतर है, लेकिन उतने बड़े अंतर से नहीं जितना कुछ गलत उद्धृत स्पेक्स सुझाते हैं।

लागत, पावर, और TCO

  • कई टिप्पणियाँ जोर देती हैं कि peak FLOPs से अधिक performance-per-watt और total cost of ownership (TCO) मायने रखते हैं।
  • TPU pods को GPUs की तुलना में अधिक power-efficient बताया गया है, कम TDP और torus interconnect की वजह से जिन्हें कम, कम power-hungry links चाहिए।
  • एक उपयोगकर्ता का दावा है कि H100 लगभग 650 TFLOPs FP8 देता है, TPU v5p लगभग 400 TFLOPs INT8 देता है, और v5p कीमत/प्रदर्शन में Intel Gaudi2 के क़रीब तथा H100 से सस्ता है।
  • Google का सार्वजनिक “2.1x value-for-money” आँकड़ा स्पष्ट किया गया है कि वह TPU v5p बनाम TPU v4 है, H100 के विरुद्ध नहीं।

CUDA, सॉफ़्टवेयर इकोसिस्टम, और lock-in

  • एक बड़ा उप-थ्रेड तर्क देता है कि Nvidia का असली moat CUDA और उसका परिपक्व tooling है, न कि सिर्फ raw hardware।
  • कई ML libraries और custom kernels (जैसे FlashAttention, DeepSpeed) CUDA-first हैं; गैर-CUDA backends आम तौर पर पीछे रहते हैं।
  • कुछ लोग बताते हैं कि PyTorch, TensorFlow, और JAX TPUs को (XLA के माध्यम से) target कर सकते हैं, लेकिन अन्य कहते हैं कि Pytorch-on-TPU नाज़ुक और धीमा है, जिसमें missing ops और data-loading समस्याएँ हैं।
  • सामान्य राय: cutting-edge research और community code के लिए CUDA अभी भी सबसे कम बाधा वाला रास्ता है।

Cloud-only access और TPUs की market role

  • TPUs केवल Google Cloud के माध्यम से उपलब्ध हैं; आप उन्हें व्यावहारिक रूप से खरीदकर self-host नहीं कर सकते।
  • कई लोगों को यह अपनाने को सीमित करने वाला लगता है, खासकर Nvidia हार्डवेयर की तुलना में जो व्यापक रूप से बेचा जाता है।
  • कुछ का तर्क है कि TPUs मुख्यतः Google की बाहरी vendors पर निर्भरता घटाने और internal workloads को सेवा देने के लिए बनाए गए थे, न कि standalone profit center बनने के लिए।
  • इससे dual lock-in चिंता बनती है: Nvidia/CUDA lock-in को Google Cloud/TPU lock-in से बदलना।

Developer experience और programmability

  • राय बँटी हुई है: कुछ कहते हैं कि TensorFlow/JAX के माध्यम से TPUs का उपयोग “बिना परेशानी” है; अन्य GCP सेवाओं में version fragmentation, unsupported ops (जैसे sparse tensors), और भारी refactoring की आवश्यकता की रिपोर्ट करते हैं।
  • गैर-ML workloads: टिप्पणीकार कहते हैं कि TPUs बहुत विशेषीकृत हैं; उन्हें उपयोग करने के लिए आपको XLA/HLO को target करना होगा। प्रयोग के लिए JAX सुझाया जाता है, लेकिन ray tracing जैसी चीज़ों के लिए TPUs का उपयोग niche माना जाता है।

प्रतिस्पर्धी accelerators और भविष्य का परिदृश्य

  • अन्य उल्लेखित खिलाड़ी: AMD MI300, Intel Gaudi2/3, Cerebras, Tesla Dojo, Microsoft का Maia, साथ ही Apple और विभिन्न inference ASICs।
  • कुछ मानते हैं कि सामान्य model architectures के standardize होने और non-CUDA stacks के परिपक्व होने पर inference में Nvidia का प्रभुत्व कम हो सकता है।
  • अन्य तर्क देते हैं कि training रणनीतिक bottleneck बना रहेगा, जहाँ Nvidia का इकोसिस्टम और interconnects उसे वर्षों तक dominant बनाए रखेंगे।