Google का पहला Tensor Processing Unit: Architecture

मूल लेख ↗ Hacker News चर्चा ↗

“Tensor” का अर्थ और उपयोग

  • इस पर बहस कि जब हार्डवेयर मुख्यतः vector/matrix operations करता है, तब “tensor” शब्द क्यों इस्तेमाल किया जाता है।
  • कई टिप्पणियाँ कहती हैं कि यह काफी हद तक branding और n‑dimensional arrays के लिए shorthand है; higher ranks अक्सर सिर्फ batching से आते हैं (जैसे images के लिए N,C,H,W)।
  • अन्य लोग ज़ोर देते हैं कि शुद्ध mathematics/physics में “tensor” एक coordinate‑transforming multilinear object होता है, सिर्फ array नहीं; ML “tensors” generic multidimensional arrays के अधिक करीब हैं।
  • ऐतिहासिक नोट्स: इस शब्द का अर्थ एक सदी में बदल गया है; ML में इसका “array” के लगभग synonym के रूप में उपयोग हाल का और कुछ हद तक दुर्भाग्यपूर्ण, लेकिन स्थापित बताया गया है।
  • कुछ लोग तर्क देते हैं कि ML में इसका उपयोग उसी संदर्भ में स्वीकार्य है; अन्य इसे भ्रामक मानते हैं।

TPU Architecture और Programming Experience

  • TPU v1 में लगभग 20 instructions होने की बात कही गई; commenters ने इसे “CISC” कहने पर सवाल उठाया, और यह बहस की कि यहाँ CISC/RISC का अर्थ ही क्या है।
  • TPUs अवधारणात्मक रूप से matrices पर काम करते हैं; n‑D tensors को 2D matmuls में flatten किया जाता है (जैसे 3×4×256 → 12×256) और fixed 2D “native sizes” पर map किया जाता है।
  • एक दृष्टिकोण: higher‑order tensor operations lower‑dimensional ones में decompose हो जाते हैं, इसलिए hardware composition के माध्यम से “tensors” को support करता है।
  • practitioners की रिपोर्ट: TPUs उन architectures के लिए बहुत तेज़ हो सकते हैं जिनके लिए वे बनाए गए थे, लेकिन compilers fragile हो सकते हैं; नए या असामान्य models धीमे चल सकते हैं या CPUs से भी धीमे हो सकते हैं।
  • GPUs को अधिक general माना जाता है, जिनमें mature low‑level access होता है, जिससे FlashAttention जैसे custom kernels संभव होते हैं।

Nvidia, CUDA, और प्रतिस्पर्धी accelerators

  • Nvidia के मुख्य लाभ बताए गए: reserved fab capacity, गहराई से integrated software (CUDA, libraries), मौजूदा datacenter hardware, और customer relationships।
  • कई लोगों के अनुसार CUDA के optimized kernels और ecosystem ही उसका मुख्य moat हैं; alternatives (ROCm, Vulkan, Triton, vendor TPUs, AWS Trainium, Intel/Habana, AMD GPUs) मौजूद हैं, लेकिन adoption और tooling में पीछे हैं।
  • कुछ लोगों की शिकायत है कि CUDA और drivers brittle हैं; दूसरे जवाब देते हैं कि competitors के stacks उससे भी बदतर हैं।
  • यह विचार कि AI demand और big‑tech self‑interest अंततः गंभीर competition पैदा करेंगे; इसके विपरीत मत कि Nvidia के software stack की नकल करना एक बहुत बड़ा, दीर्घकालिक प्रयास है।

Google की AI/TPU Strategy और छूटे हुए अवसर

  • बार‑बार यह प्रश्न उठता है: Google ने TPUs और transformer का आविष्कार किया, अंदरूनी तौर पर मजबूत chat models बनाए, फिर भी Nvidia और startups को अधिकांश visible value कैसे मिल गई।
  • दिए गए स्पष्टीकरण:
    • safety, hallucinations, और regulatory backlash का डर, खासकर EU में।
    • आंतरिक conservatism और ऐसे radical नए products लॉन्च करने से हिचकिचाहट जो search/ads को खतरे में डाल सकते हैं।
    • complacency और disruptive bets के बजाय incremental improvements को प्राथमिकता।
  • कुछ लोग तर्क देते हैं कि यह कहना अभी जल्दबाज़ी है कि Google ने “हार” मान ली है; वे अभी भी AI को अपने products में embed कर सकते हैं, लेकिन search‑scale revenue की बराबरी करना कठिन है।
  • TPU business: team को अलग कंपनी के रूप में spin out करने की मांग; चिंता कि TPUs अंदरूनी तौर पर भी scarce हैं और मुख्यतः Google Cloud के माध्यम से उपलब्ध हैं, जिससे ecosystem growth सीमित होती है।

Fabrication, Availability, और अन्य hardware नोट्स

  • बताया गया कि TPUs cutting‑edge GPUs की तुलना में थोड़े पुराने process nodes का उपयोग करते हैं; इसे स्वीकार्य माना जाता है, लेकिन कम glamorous समझा जाता है।
  • Google द्वारा अपना खुद का leading‑edge fab बनाने का प्रस्ताव व्यापक रूप से अव्यावहारिक और आर्थिक/तकनीकी रूप से असंभव माना गया, क्योंकि इसके लिए भारी capital, expertise, और volumes चाहिए।
  • Apple के M‑series chips को unified memory और high bandwidth के कारण local inference के लिए मजबूत माना गया, लेकिन उन्हें H100s जैसे बड़े‑पैमाने के training competitors के रूप में नहीं देखा जाता।