Tenstorrent revela Grayskull, sua resposta RISC-V às GPUs

Modelos-alvo e casos de uso

• Os modelos suportados incluem BERT, ResNet, Whisper, YOLOv5 e U-Net.
• Comentadores observam que esses eram state-of-the-art por volta de 2020–2021 e ainda são amplamente usados, especialmente modelos do tipo BERT para embeddings e YOLOv5 para visão na borda.
• Muitos veem as placas como uma forma de aprender o modelo de programação, e não como appliances de inferência prontos para uso.

Posicionamento do kit de desenvolvimento e especificações

• Dois kits de desenvolvimento:
  • e75: 75 W, 96 Tensix cores, 96 MB SRAM, 8 GB LPDDR4, ~$599.
  • e150: 200 W, 120 Tensix cores, 120 MB SRAM, 8 GB LPDDR4, ~$799.
• Vários formatos de baixa precisão são suportados (variantes FP8/FP4/BFP; alguns FP de 19 bits em SFPU).
• 8 GB de VRAM é amplamente visto como limitante, especialmente para LLMs; considerado adequado para muitos modelos de visão e experimentos quantizados.

Arquitetura e modelo de programação

• Cada Tensix core: unidade de matemática tensorial (FPU), mecanismo SIMT (SFPU), cinco pequenos núcleos RV32I e memória local.
• Os núcleos são ligados por uma Network-on-Chip em torus duplo; o design enfatiza memória local próxima ao compute.
• Comparado a sistemas manycore, de estilo transputer e semelhantes a dataflow; o objetivo é mapear pipelines de ML entre os núcleos e transmitir dados entre eles.
• O trabalho vetorial não é feito via extensão RISC‑V Vector; isso fica reservado para futuros CPUs host (Ascalon).

Memória, largura de banda e escala

• A largura de banda da LPDDR4 (~100–120 GB/s) é muito menor do que a de GPUs de ponta; isso é visto como um gargalo.
• A grande SRAM on-chip é o diferencial; útil para cargas de trabalho que podem reutilizar dados localmente.
• O Grayskull é descrito como apenas para inferência, orientado a uma única placa; a próxima geração “Wormhole” adiciona melhor escalabilidade multi-placa com 100 GbE e SFPU aprimorada.

Comparação com GPUs e outros aceleradores

• Alguns questionam o valor em comparação com GPUs commodity ou APUs com DDR5 rápido; outros observam que este é um kit de desenvolvimento, não um produto competitivo para jogos.
• FLOPs/$ por si só é considerado menos importante do que capacidade/largura de banda de memória e stack de software.
• Aceleradores de IA personalizados (incluindo este) são vistos como mais eficientes por watt para certas operações, mas enfrentam obstáculos de ecossistema e de compilador/toolchain.

Software, ecossistema e requisitos de sistema

• Stack mais ou menos aberto com uma API de alto nível (TT-Buda) e uma API de baixo nível (TT-Metalium); divulgado como não tendo componentes black-box.
• O requisito de 64 GB de RAM no host é atribuído às necessidades de compilação do modelo; PCIe 4.0 provavelmente para largura de banda.
• Vários comentadores destacam que derrubar o fosso de software da CUDA é mais difícil do que superar a Nvidia em FLOPs brutos ou margens.