A Próxima GPU da AMD é um Superchip Integrado em 3D

Artigo original ↗ Discussão no Hacker News ↗

O “superchip” MI300 integrado em 3D da AMD — que combina núcleos de CPU, unidades de computação GPU e memória HBM empilhada — é visto como uma grande tentativa de desafiar a Nvidia em IA de alto desempenho e computação científica. Os comentaristas avaliam seus trade-offs arquiteturais, a complexidade de fabricação e o provável alto custo de produção em comparação com os possíveis ganhos do design baseado em chiplets, do empacotamento avançado e da memória unificada para cargas de trabalho mistas de CPU/GPU. Um tema recorrente é se o ROCm e o HIP da AMD, junto com esforços mais amplos da indústria como oneAPI e suporte ao nível de frameworks, podem realisticamente erodir o domínio da CUDA da Nvidia, especialmente diante do suporte mais fraco em GPUs de consumo.

CUDA, ROCm e APIs Concorrentes

  • Muitos veem CUDA como um bloqueio ao nível da API; entre as alternativas mencionadas estão ROCm/HIP da AMD, OneAPI da Intel e OpenCL (frequentemente descrito como tendo desempenho inferior, especialmente na Nvidia).
  • HIP e HIPIFY são vistos como um caminho de “tradução de CUDA” ao nível do código-fonte, com foco particular em frameworks de IA (PyTorch, TensorFlow, ONNX).
  • Alguns argumentam que toda a indústria (nuvens, fabricantes de chips) agora está fortemente motivada a quebrar o monopólio da CUDA; outros observam que isso nominalmente já é verdade há anos, com sucesso limitado.

Casos de Uso para MI300 e Chips Semelhantes

  • Destinados principalmente a HPC e IA: simulações nucleares, computação científica em grande escala, treinamento/inferência de LLMs, solucionadores de restrições e empilhamento de imagens.
  • A memória unificada do MI300A para CPU+GPU é vista como uma grande vantagem para cargas de trabalho mistas, com ramificações (CPU) e numéricas (GPU).
  • Esses aceleradores não são posicionados para jogos; a linha de computação CDNA da AMD frequentemente remove recursos orientados a gráficos (por exemplo, unidades de textura, saídas de vídeo).

Integração 3D, HBM e Empacotamento

  • Foram levantadas questões sobre a colocação do die (HBM no centro vs. nas bordas). As respostas observam:
    • HBM é projetada para os comprimentos atuais de fios e se conecta a controladores específicos.
    • XCDs precisam de links die-to-die ultracurtos e de altíssima largura de banda para se comportarem como um único chip.
  • Alinhamento e empilhamento usam processos avançados 3DFabric da TSMC; designs mais novos usam ligação direta cobre-a-cobre em vez de solda.
  • Expansão térmica e refrigeração em muitas camadas heterogêneas são destacadas como grandes desafios de engenharia, amplamente discutidos nas próprias apresentações da AMD.

Custo, BOM e Estrutura de Mercado

  • Espera-se que dispositivos da classe MI300 sejam muito caros de fabricar e empacotar, embora chiplets possam melhorar o rendimento e a economia de mistura de nós.
  • Há discussão sobre “bill of materials” vs. custo/lucro reais; as margens muito altas reportadas da Nvidia no H100 são contrastadas com o provável alto custo de produção do MI300.
  • Alguns argumentam que a Nvidia conquistou sua posição ao criar o mercado moderno de computação em GPU/IA; outros enfatizam as restrições de recursos que a AMD teve no passado.

Maturidade do Software e Experiência do Desenvolvedor

  • Relata-se que o ROCm funciona “razoavelmente bem” em GPUs recentes de datacenter e em algumas de consumidor high-end (por exemplo, RX 7900 no Linux), especialmente via PyTorch.
  • No entanto, muitos reclamam de:
    • Suporte irregular ou removido para GPUs AMD mais antigas/de consumo.
    • Suporte limitado ao Windows.
    • O ROCm ser muito mais difícil de usar do que CUDA, com tooling menos estável e menor compatibilidade futura.
  • Para fluxos de trabalho de pesquisa e workstation, essa falta de suporte amplo e barato a GPUs de consumo é citada como um motivo-chave para as equipes ainda padronizarem na Nvidia.

Benchmarks e Ceticismo em Relação ao Marketing

  • Alguns chamam o marketing da AMD sobre MI300 vs H100 de “duvidoso”, alegando tamanhos de modelo, tamanhos de batch ou versões do SDK da Nvidia selecionados a dedo.
  • Outros contrapõem que as próprias comparações da Nvidia frequentemente usam truques agressivos de software (por exemplo, modos de “transformer engine” de menor precisão) e tamanhos de batch não correspondentes, tornando comparações “justas” difíceis.
  • Há discordância sobre se a vantagem bruta de hardware da AMD se traduzirá em ganhos no mundo real sem uma pilha de software igualmente madura.

Ecosistema Mais Amplo e Direções Futuras

  • Administradores de HPC relatam adoção crescente do ROCm em supercomputadores de ponta (Frontier, LUMI), com bibliotecas da AMD entrando em distribuições Linux mainstream e esforços da comunidade ajustando LLMs para AMD.
  • Discussões sobre Ethernet e fabric mencionam iniciativas como “UltraEthernet” como resposta ao controle da Nvidia sobre Infiniband via Mellanox.
  • Alguns esperam que tecnologias dessas peças de datacenter (chiplets, HBM, memória unificada) desçam lentamente para CPUs/APUs mais convencionais e possivelmente sistemas de consumo.