Tenstorrent 发布 Grayskull：其针对 GPU 的 RISC-V 方案

原文 ↗ Hacker News 讨论 ↗

目标模型与使用场景

  • 支持的模型包括 BERT、ResNet、Whisper、YOLOv5 和 U-Net。
  • 评论者指出，这些模型在 2020–2021 年间属于最先进水平，如今仍被广泛使用，尤其是用于嵌入的类似 BERT 的模型，以及用于边缘视觉的 YOLOv5。
  • 许多人认为这些板卡更像是用来学习编程模型，而不是即插即用的推理设备。

开发套件定位与规格

  • 两款开发套件：
    • e75：75 W，96 个 Tensix 核心，96 MB SRAM，8 GB LPDDR4，约 599 美元。
    • e150：200 W，120 个 Tensix 核心，120 MB SRAM，8 GB LPDDR4，约 799 美元。
  • 支持多种低精度格式（FP8/FP4/BFP 变体；SFPU 中还有一些 19 位 FP）。
  • 8 GB VRAM 被广泛认为是一个限制，尤其对 LLM 而言；但对于许多视觉模型和量化实验来说，这个容量被认为足够。

架构与编程模型

  • 每个 Tensix 核心包含：张量数学单元（FPU）、SIMT 引擎（SFPU）、五个微型 RV32I 核心以及本地内存。
  • 核心之间通过双环面 Network-on-Chip 相连；设计强调让本地内存尽可能靠近计算单元。
  • 与 manycore、transputer 风格以及类似数据流的系统相比；目标是把 ML 管线映射到多个核心上，并在它们之间流式传输数据。
  • 向量工作并不是通过 RISC‑V Vector 扩展实现；该功能留给未来的主机 CPU（Ascalon）。

内存、带宽与扩展

  • LPDDR4 带宽（约 100–120 GB/s）远低于高端 GPU；被视为瓶颈。
  • 大容量片上 SRAM 是其差异化所在；对能在本地复用数据的工作负载很有用。
  • Grayskull 被描述为仅用于推理、偏单卡设计；下一代 “Wormhole” 通过 100 GbE 和改进的 SFPU 带来更好的多卡扩展能力。

与 GPU 和其他加速器的比较

  • 有人质疑它相对于通用 GPU 或配备快速 DDR5 的 APU 的价值；也有人指出这是一款开发套件，而不是面向游戏竞争的产品。
  • 单看 FLOPs/$ 被认为不如内存容量/带宽和软件栈重要。
  • 定制 AI 加速器（包括这一款）在某些操作上被认为比特定功耗更高效，但在生态和编译器/工具链方面仍面临障碍。

软件、生态与系统要求

  • 相对开放的技术栈，提供高层（TT-Buda）和底层（TT-Metalium） API；宣传中强调没有黑箱组件。
  • 64 GB 主机内存需求被归因于模型编译需求；PCIe 4.0 很可能用于带宽。
  • 多位评论者强调，撼动 CUDA 的软件护城河，比在原始 FLOPs 或利润率上击败 Nvidia 要困难得多。