La próxima GPU de AMD es un superchip integrado en 3D

Artículo original ↗ Discusión en Hacker News ↗

El “superchip” MI300 de AMD, integrado en 3D —que combina núcleos CPU, unidades de cómputo GPU y memoria HBM apilada— se considera una apuesta importante para desafiar a Nvidia en IA de alto rendimiento y computación científica. Los comentaristas valoran sus compromisos arquitectónicos, la complejidad de fabricación y su probable alto coste de producción frente a las posibles ganancias del diseño basado en chiplets, el empaquetado avanzado y la memoria unificada para cargas de trabajo mixtas CPU/GPU. Un tema recurrente es si ROCm y HIP de AMD, junto con esfuerzos más amplios del sector como oneAPI y el soporte a nivel de framework, pueden erosionar de forma realista el dominio de CUDA de Nvidia, especialmente dada la peor compatibilidad en GPUs de consumo.

CUDA, ROCm y APIs competidoras

  • Muchos ven CUDA como una dependencia a nivel de API; entre las alternativas mencionadas están ROCm/HIP de AMD, OneAPI de Intel y OpenCL (a menudo descrito como de peor rendimiento, especialmente en Nvidia).
  • HIP e HIPIFY se consideran una vía de “traducción de CUDA” a nivel de código fuente, con especial foco en frameworks de IA (PyTorch, TensorFlow, ONNX).
  • Algunos sostienen que toda la industria (nubes, fabricantes de chips) ahora está fuertemente motivada a romper el monopolio de CUDA; otros señalan que eso, nominalmente, ha sido cierto durante años con éxito limitado.

Casos de uso para MI300 y chips similares

  • Diseñados principalmente para HPC e IA: simulaciones nucleares, computación científica a gran escala, entrenamiento/inferencia de LLM, solucionadores de restricciones y apilado de imágenes.
  • La memoria unificada de MI300A para CPU+GPU se considera una gran ventaja para cargas de trabajo mixtas, con ramificaciones en CPU y numéricas en GPU.
  • Estos aceleradores no están orientados a juegos; la línea de cómputo CDNA de AMD suele eliminar funciones centradas en gráficos (p. ej., unidades de textura, salidas de pantalla).

Integración 3D, HBM y empaquetado

  • Se plantean dudas sobre la colocación del die (HBM en el centro vs en los bordes). Las respuestas señalan:
    • HBM está diseñada para las longitudes de cableado actuales y se conecta a controladores específicos.
    • Los XCD necesitan enlaces die-to-die ultracortos y de muy alto ancho de banda para comportarse como un solo chip.
  • La alineación y el apilado usan procesos avanzados de TSMC 3DFabric; los diseños más nuevos usan unión directa cobre a cobre en lugar de soldadura.
  • La expansión térmica y la refrigeración a través de muchas capas heterogéneas se destacan como grandes desafíos de ingeniería, muy comentados en las propias presentaciones de AMD.

Coste, BOM y estructura de mercado

  • Se espera que los dispositivos de clase MI300 sean muy caros de fabricar y empaquetar, aunque los chiplets pueden mejorar el rendimiento de fabricación y la economía de mezclar nodos.
  • Hay debate sobre “bill of materials” frente a coste/profit real; los márgenes muy altos reportados por Nvidia en H100 se contrastan con el probable alto coste de producción de MI300.
  • Algunos sostienen que Nvidia ganó su posición creando el mercado moderno de computación GPU/IA; otros enfatizan las limitaciones de recursos que tuvo AMD en el pasado.

Madurez del software y experiencia de desarrollador

  • Se informa que ROCm funciona “razonablemente bien” en tarjetas recientes de centro de datos y en algunas tarjetas de consumo de gama alta (p. ej., RX 7900 en Linux), especialmente mediante PyTorch.
  • Sin embargo, muchos se quejan de:
    • Soporte irregular o eliminado para GPUs AMD antiguas/de consumo.
    • Soporte limitado en Windows.
    • ROCm es mucho más difícil de usar que CUDA, con herramientas menos estables y peor compatibilidad hacia adelante.
  • Para flujos de trabajo de investigación y estaciones de trabajo, esta falta de soporte amplio y barato para GPUs de consumo se cita como una razón clave por la que los equipos siguen estandarizando en Nvidia.

Benchmarks y escepticismo frente al marketing

  • Algunos califican el marketing de AMD sobre MI300 vs H100 de “sospechoso”, alegando selección interesada de tamaños de modelo, tamaños de lote o versiones del SDK de Nvidia.
  • Otros responden que las propias comparaciones de Nvidia suelen usar trucos de software agresivos (p. ej., modos de “transformer engine” de menor precisión) y tamaños de lote no equivalentes, lo que hace difíciles las comparaciones “justas”.
  • Hay desacuerdo sobre si la ventaja bruta de hardware de AMD se traducirá en ganancias reales sin una pila de software comparativamente madura.

Ecosistema más amplio y direcciones futuras

  • Administradores de HPC informan de una adopción creciente de ROCm en los superordenadores de mayor nivel (Frontier, LUMI), con bibliotecas de AMD entrando en distribuciones Linux principales y esfuerzos comunitarios ajustando LLM para AMD.
  • Las discusiones sobre Ethernet y fabric mencionan iniciativas como “UltraEthernet” como respuesta al control de Nvidia sobre Infiniband a través de Mellanox.
  • Algunos esperan que la tecnología de estas piezas de centro de datos (chiplets, HBM, memoria unificada) se filtre lentamente hacia CPUs/APUs más convencionales y posiblemente sistemas de consumo.