Google TPU v5p supera Nvidia H100

Artigo original ↗ Discussão no Hacker News ↗

Os novos aceleradores TPU v5p da Google estão sendo comparados aos chips H100 e GH200 da Nvidia, com comentaristas examinando não apenas especificações brutas, mas também memória, largura de banda, eficiência energética e custo total de propriedade em escala de nuvem. Muitos argumentam que a verdadeira vantagem da Nvidia é seu ecossistema de software CUDA e a ampla disponibilidade, enquanto as TPUs permanecem presas ao Google Cloud com suporte desigual de frameworks — especialmente para PyTorch — criando custos de troca significativos. Outros apontam alternativas emergentes como AMD, Intel Gaudi e chips customizados de nuvem, mas questionam se alguma delas pode ganhar tração sem igualar as ferramentas maduras e a compatibilidade generalizada da Nvidia, particularmente para cargas de trabalho de treinamento de ponta.

Comparações de hardware (TPU v5p vs Nvidia H100/GH200)

  • Vários comentários argumentam que a Google está “uma geração atrás”, observando que a TPU v5p está sendo comparada com a H100 enquanto a Nvidia já anuncia a GH200 e a B100.
  • Disputas sobre especificações brutas:
    • TPU v5p: 95 GB de HBM por chip, ~2,7 TB/s de largura de banda de memória, 4.800 Gbps de interconexão por chip, topologia torus 3D.
    • GH200: números contestados; alguns afirmam 282 GB de HBM3e por “superchip”, enquanto outros esclarecem que as folhas de dados mostram 96–144 GB por GPU e que 282 GB se refere a configurações com dual-GPU.
  • Um engenheiro com aparente experiência em operações de TPU fornece detalhes de pod: 4 chips por host, 380 GB de HBM por host, “cubes” de 64 TPUs (~6 TB de HBM, ~29 PFLOPs bfloat16).
  • Consenso: a GH200 provavelmente supera a TPU v5p por chip, mas não pelas enormes margens sugeridas em algumas especificações citadas incorretamente.

Custo, energia e TCO

  • Vários comentários enfatizam que desempenho por watt e custo total de propriedade (TCO) importam mais do que FLOPs de pico.
  • Pods de TPU são descritos como mais eficientes em energia do que GPUs devido ao menor TDP e à interconexão em torus, que exige menos links e menos consumo.
  • Um usuário afirma que a H100 entrega ~650 TFLOPs FP8, a TPU v5p ~400 TFLOPs INT8, com a v5p aproximadamente semelhante à Intel Gaudi2 e mais barata que a H100 em preço/desempenho.
  • A métrica pública da Google de “2,1x value-for-money” é esclarecida como sendo TPU v5p versus TPU v4, não versus H100.

CUDA, ecossistema de software e lock-in

  • Um grande subthread argumenta que o verdadeiro fosso da Nvidia é o CUDA e suas ferramentas maduras, e não o hardware bruto.
  • Muitas bibliotecas de ML e kernels personalizados (por exemplo, FlashAttention, DeepSpeed) são CUDA-first; backends não-CUDA geralmente ficam para trás.
  • Alguns observam que PyTorch, TensorFlow e JAX podem apontar para TPUs (via XLA), mas outros dizem que PyTorch em TPU é frágil e mais lento, com ops ausentes e problemas de carregamento de dados.
  • A visão geral: para pesquisa de ponta e código da comunidade, CUDA continua sendo o caminho de menor resistência.

Acesso apenas na nuvem e papel de mercado das TPUs

  • As TPUs estão disponíveis apenas via Google Cloud; não é realista comprá-las e operá-las localmente.
  • Vários veem isso como um limitador de adoção, especialmente em comparação com o hardware da Nvidia, amplamente vendido.
  • Alguns argumentam que as TPUs foram construídas principalmente para reduzir a dependência da Google de fornecedores externos e atender cargas internas, não para serem um centro de lucro independente.
  • Isso cria uma preocupação dupla de lock-in: trocar o lock-in Nvidia/CUDA por lock-in Google Cloud/TPU.

Experiência do desenvolvedor e programabilidade

  • As opiniões divergem: alguns dizem que usar TPUs via TensorFlow/JAX é “sem dor”; outros relatam fragmentação de versões entre serviços do GCP, ops não suportadas (por exemplo, sparse tensors) e necessidade de refatoração pesada.
  • Cargas de trabalho não-ML: comentaristas dizem que TPUs são profundamente especializadas; para usá-las é preciso direcionar para XLA/HLO. JAX é sugerido para experimentação, mas usar TPUs para coisas como ray tracing é visto como nichado.

Aceleradores concorrentes e cenário futuro

  • Outros atores mencionados: AMD MI300, Intel Gaudi2/3, Cerebras, Tesla Dojo, Maia da Microsoft, além da Apple e vários ASICs de inferência.
  • Alguns acreditam que a dominância da Nvidia pode diminuir na inferência à medida que arquiteturas comuns de modelos se padronizam e as stacks não-CUDA amadurecem.
  • Outros argumentam que o treinamento continuará sendo o principal gargalo estratégico, onde o ecossistema e as interconexões da Nvidia a manterão dominante por anos.