Tenstorrent ने Grayskull पेश किया, GPUs के लिए उसका RISC-V जवाब
Tenstorrent की नई Grayskull cards को RISC‑V–आधारित AI accelerators और GPUs के विकल्प के रूप में पेश किया गया है, लेकिन टिप्पणीकारों का कहना है कि वे मूलतः कम-कीमत developer kits हैं जिनमें सीमित 8 GB LPDDR4 memory, मध्यम bandwidth, और एक “inference-first” डिज़ाइन है। अधिकतर रुचि उनकी असामान्य manycore architecture (on-chip SRAM और torus NoC वाले Tensix cores), low-precision formats के व्यापक समर्थन, और open software stack पर केंद्रित है, साथ ही इस पर संदेह भी है कि वे Nvidia के CUDA ecosystem और high-bandwidth GPUs या future CPUs/NPUs से कैसे प्रतिस्पर्धा करेंगे। बहस इस बात पर भी है कि specialized AI hardware data center inference workloads से increasingly dominated बाजार में कहाँ फिट बैठता है, और क्या ऐसी architectures बड़े models और training तक scale कर सकती हैं, सिर्फ edge या experimental use तक नहीं।
लक्षित मॉडल और उपयोग-परिदृश्य
- समर्थित मॉडलों में BERT, ResNet, Whisper, YOLOv5, और U-Net शामिल हैं।
- टिप्पणीकारों का कहना है कि ये 2020–2021 के आसपास state-of-the-art थे और आज भी व्यापक रूप से उपयोग में हैं, खासकर embeddings के लिए BERT-जैसे मॉडल और edge vision के लिए YOLOv5।
- कई लोग इन बोर्ड्स को प्रोग्रामिंग मॉडल सीखने के एक तरीके के रूप में देखते हैं, न कि turnkey inference appliances के रूप में।
डेव किट की पोज़िशनिंग और स्पेक्स
- दो dev kits:
- e75: 75 W, 96 Tensix cores, 96 MB SRAM, 8 GB LPDDR4, ~$599.
- e150: 200 W, 120 Tensix cores, 120 MB SRAM, 8 GB LPDDR4, ~$799.
- कई low-precision formats समर्थित हैं (FP8/FP4/BFP variants; SFPU में कुछ 19-bit FP)।
- 8 GB VRAM को व्यापक रूप से सीमित माना जा रहा है, खासकर LLMs के लिए; लेकिन यह कई vision models और quantized experiments के लिए ठीक समझा जाता है।
आर्किटेक्चर और प्रोग्रामिंग मॉडल
- प्रत्येक Tensix core में tensor math unit (FPU), SIMT engine (SFPU), पाँच छोटे RV32I cores, और local memory होती है।
- cores dual torus Network-on-Chip से जुड़े हैं; डिज़ाइन compute के पास local memory पर ज़ोर देता है।
- इसकी तुलना manycore, transputer-style, और dataflow-like systems से की जाती है; लक्ष्य ML pipelines को cores पर मैप करना और उनके बीच data stream करना है।
- Vector काम RISC‑V Vector extension के ज़रिए नहीं है; वह future host CPUs (Ascalon) के लिए आरक्षित है।
मेमोरी, bandwidth, और scaling
- LPDDR4 bandwidth (~100–120 GB/s) high-end GPUs की तुलना में बहुत कम है; इसे bottleneck माना गया है।
- बड़ा on-chip SRAM इसका differentiator है; उन workloads के लिए उपयोगी जो डेटा को local रूप से reuse कर सकते हैं।
- Grayskull को inference-only, single-card oriented बताया गया है; next-gen “Wormhole” बेहतर multi-card scaling के साथ 100 GbE और improved SFPU जोड़ता है।
GPUs और अन्य accelerators से तुलना
- कुछ लोग commodity GPUs या fast DDR5 वाले APUs की तुलना में इसकी value पर सवाल उठाते हैं; अन्य लोग ध्यान दिलाते हैं कि यह एक dev kit है, gaming-competitive product नहीं।
- केवल FLOPs/$ को कम महत्वपूर्ण माना गया है बनिस्बत memory capacity/bandwidth और software stack के।
- Custom AI accelerators (इस सहित) कुछ operations के लिए watt के हिसाब से अधिक efficient माने जाते हैं, लेकिन ecosystem और compiler/toolchain hurdles का सामना करते हैं।
Software, ecosystem, और system requirements
- Open-ish stack जिसमें high-level (TT-Buda) और low-level (TT-Metalium) API है; इसे black-box components के बिना marketed किया गया है।
- 64 GB host RAM requirement को model compilation needs से जोड़ा गया है; bandwidth के लिए PCIe 4.0 संभवतः ज़रूरी है।
- कई टिप्पणीकार जोर देते हैं कि CUDA के software moat को तोड़ना, Nvidia को raw FLOPs या margins पर हराने से कहीं अधिक कठिन है।