Tenstorrent ने Grayskull पेश किया, GPUs के लिए उसका RISC-V जवाब

मूल लेख ↗ Hacker News चर्चा ↗

लक्षित मॉडल और उपयोग-परिदृश्य

  • समर्थित मॉडलों में BERT, ResNet, Whisper, YOLOv5, और U-Net शामिल हैं।
  • टिप्पणीकारों का कहना है कि ये 2020–2021 के आसपास state-of-the-art थे और आज भी व्यापक रूप से उपयोग में हैं, खासकर embeddings के लिए BERT-जैसे मॉडल और edge vision के लिए YOLOv5।
  • कई लोग इन बोर्ड्स को प्रोग्रामिंग मॉडल सीखने के एक तरीके के रूप में देखते हैं, न कि turnkey inference appliances के रूप में।

डेव किट की पोज़िशनिंग और स्पेक्स

  • दो dev kits:
    • e75: 75 W, 96 Tensix cores, 96 MB SRAM, 8 GB LPDDR4, ~$599.
    • e150: 200 W, 120 Tensix cores, 120 MB SRAM, 8 GB LPDDR4, ~$799.
  • कई low-precision formats समर्थित हैं (FP8/FP4/BFP variants; SFPU में कुछ 19-bit FP)।
  • 8 GB VRAM को व्यापक रूप से सीमित माना जा रहा है, खासकर LLMs के लिए; लेकिन यह कई vision models और quantized experiments के लिए ठीक समझा जाता है।

आर्किटेक्चर और प्रोग्रामिंग मॉडल

  • प्रत्येक Tensix core में tensor math unit (FPU), SIMT engine (SFPU), पाँच छोटे RV32I cores, और local memory होती है।
  • cores dual torus Network-on-Chip से जुड़े हैं; डिज़ाइन compute के पास local memory पर ज़ोर देता है।
  • इसकी तुलना manycore, transputer-style, और dataflow-like systems से की जाती है; लक्ष्य ML pipelines को cores पर मैप करना और उनके बीच data stream करना है।
  • Vector काम RISC‑V Vector extension के ज़रिए नहीं है; वह future host CPUs (Ascalon) के लिए आरक्षित है।

मेमोरी, bandwidth, और scaling

  • LPDDR4 bandwidth (~100–120 GB/s) high-end GPUs की तुलना में बहुत कम है; इसे bottleneck माना गया है।
  • बड़ा on-chip SRAM इसका differentiator है; उन workloads के लिए उपयोगी जो डेटा को local रूप से reuse कर सकते हैं।
  • Grayskull को inference-only, single-card oriented बताया गया है; next-gen “Wormhole” बेहतर multi-card scaling के साथ 100 GbE और improved SFPU जोड़ता है।

GPUs और अन्य accelerators से तुलना

  • कुछ लोग commodity GPUs या fast DDR5 वाले APUs की तुलना में इसकी value पर सवाल उठाते हैं; अन्य लोग ध्यान दिलाते हैं कि यह एक dev kit है, gaming-competitive product नहीं।
  • केवल FLOPs/$ को कम महत्वपूर्ण माना गया है बनिस्बत memory capacity/bandwidth और software stack के।
  • Custom AI accelerators (इस सहित) कुछ operations के लिए watt के हिसाब से अधिक efficient माने जाते हैं, लेकिन ecosystem और compiler/toolchain hurdles का सामना करते हैं।

Software, ecosystem, और system requirements

  • Open-ish stack जिसमें high-level (TT-Buda) और low-level (TT-Metalium) API है; इसे black-box components के बिना marketed किया गया है।
  • 64 GB host RAM requirement को model compilation needs से जोड़ा गया है; bandwidth के लिए PCIe 4.0 संभवतः ज़रूरी है।
  • कई टिप्पणीकार जोर देते हैं कि CUDA के software moat को तोड़ना, Nvidia को raw FLOPs या margins पर हराने से कहीं अधिक कठिन है।