Tenstorrent presenta Grayskull, su respuesta RISC-V a las GPUs

Artículo original ↗ Discusión en Hacker News ↗

Modelos objetivo y casos de uso

  • Los modelos compatibles incluyen BERT, ResNet, Whisper, YOLOv5 y U-Net.
  • Los comentaristas señalan que estos eran de última generación alrededor de 2020–2021 y siguen usándose ampliamente, especialmente los modelos tipo BERT para embeddings y YOLOv5 para visión en el borde.
  • Muchos ven las tarjetas como una forma de aprender el modelo de programación, no como dispositivos de inferencia listos para usar.

Posicionamiento y especificaciones del kit de desarrollo

  • Dos kits de desarrollo:
    • e75: 75 W, 96 núcleos Tensix, 96 MB de SRAM, 8 GB de LPDDR4, ~$599.
    • e150: 200 W, 120 núcleos Tensix, 120 MB de SRAM, 8 GB de LPDDR4, ~$799.
  • Se admiten múltiples formatos de baja precisión (variantes FP8/FP4/BFP; algunos FP de 19 bits en SFPU).
  • Los 8 GB de VRAM se consideran ampliamente limitantes, especialmente para los LLMs; se ven bien para muchos modelos de visión y experimentos cuantizados.

Arquitectura y modelo de programación

  • Cada núcleo Tensix: unidad de matemáticas tensoriales (FPU), motor SIMT (SFPU), cinco pequeños núcleos RV32I y memoria local.
  • Los núcleos están conectados mediante una red en chip de toro dual; el diseño pone énfasis en la memoria local cerca del cómputo.
  • Se compara con sistemas manycore, estilo transputer y similares a dataflow; el objetivo es mapear canalizaciones de ML entre núcleos y transmitir datos entre ellos.
  • El trabajo vectorial no se realiza mediante la extensión Vector de RISC‑V; eso queda reservado para futuros CPU anfitrión (Ascalon).

Memoria, ancho de banda y escalado

  • El ancho de banda de LPDDR4 (~100–120 GB/s) es mucho menor que el de GPUs de gama alta; se considera un cuello de botella.
  • La gran SRAM en chip es el diferenciador; resulta útil para cargas de trabajo que pueden reutilizar datos localmente.
  • Grayskull se describe como solo para inferencia y orientado a una sola tarjeta; la próxima generación “Wormhole” añade mejor escalado multitarjeta con 100 GbE y una SFPU mejorada.

Comparación con GPUs y otros aceleradores

  • Algunos cuestionan su valor frente a GPUs de consumo o APUs con DDR5 rápida; otros señalan que se trata de un kit de desarrollo, no de un producto competitivo para juegos.
  • Se considera que los FLOPs/$ por sí solos importan menos que la capacidad/ancho de banda de memoria y la pila de software.
  • Los aceleradores de IA personalizados (incluido este) se ven más eficientes por vatio para ciertas operaciones, pero afrontan obstáculos de ecosistema y compilador/toolchain.

Software, ecosistema y requisitos del sistema

  • Pila más o menos abierta con una API de alto nivel (TT-Buda) y una API de bajo nivel (TT-Metalium); se comercializa como libre de componentes de caja negra.
  • El requisito de 64 GB de RAM del host se atribuye a las necesidades de compilación de modelos; PCIe 4.0 probablemente para el ancho de banda.
  • Varios comentaristas subrayan que desbancar el foso de software de CUDA es más difícil que superar a Nvidia en FLOPs brutos o márgenes.