Os dois primeiros chips de silício personalizados projetados pela Microsoft para sua nuvem

Artigo original ↗ Discussão no Hacker News ↗

Os primeiros chips de nuvem desenvolvidos internamente pela Microsoft — o acelerador de IA Maia e a CPU Cobalt baseada em Arm — são vistos como parte de um movimento mais amplo das hyperscalers para reduzir a dependência da Nvidia e integrar verticalmente sua infraestrutura de IA. Comentadores observam que a Nvidia ainda domina o treinamento graças ao seu ecossistema de software maduro e ao acesso à capacidade escassa da TSMC, mas que silício personalizado para inferência e workloads de uso geral pode melhorar a economia em escala hiperescalável. O debate também aborda os riscos estratégicos dos gargalos globais de fabricação de chips, a crescente adoção de Arm em servidores e as preocupações de que hardware de IA de ponta esteja se tornando algo que indivíduos só podem alugar, e não possuir.

Visão geral dos chips Maia e Cobalt da Microsoft

  • Dois chips: Maia (acelerador de IA) e Cobalt (CPU Arm de servidor com 128 núcleos).
  • Ambos fabricados pela TSMC em N5; Maia tem ~105B transistores e suporta novos datatypes “MX” sub‑8 bits para IA.
  • Cobalt é baseado no Arm Neoverse CSS, customizado para a Microsoft, e testado em workloads como Teams e SQL Server.
  • Maia usa refrigeração líquida, sugerindo foco em alto TDP e alta densidade.

Concorrência com Nvidia e outros aceleradores

  • Muitos veem isso como uma forma de reduzir a dependência das GPUs caras e com oferta limitada da Nvidia, em vez de superá-las.
  • Alguns argumentam que a Nvidia ainda domina o treinamento; rivais (Google TPU, AWS Trainium/Inferentia, Intel Gaudi, AMD MI300, etc.) são vistos como alternativas, mas com ecossistemas menores.
  • Persistem dúvidas sobre como o Maia se compara em desempenho real; a Microsoft divulgou poucos números concretos.

Treinamento vs inferência e dinâmica de custos

  • Vários posts destacam que treinamento e inferência são mercados diferentes; muitos chips novos focam em inferência, mas o Maia afirma suportar treinamento também.
  • Uma estimativa: treinar modelos em escala GPT é ordens de magnitude mais caro por token do que inferência; a paridade de custo ao longo do tempo depende da base de usuários e do uso.

Integração vertical e estratégia de nuvem

  • Visto como parte da pressão das hyperscalers por controle total da pilha (chips → nuvem → software) e captura de margem.
  • A Microsoft está “jogando dos dois lados”: ainda usando fortemente a Nvidia, em parceria com a AMD, e desenvolvendo seu próprio silício.
  • Os chips não serão vendidos; o acesso será apenas via Azure, semelhante aos TPUs do Google e ao Graviton/Trainium da AWS.

TSMC, gargalos de fabricação e geopolítica

  • Forte preocupação com a TSMC como gargalo único de nós avançados para quase todos os chips de IA de ponta.
  • Discussão sobre as restrições de CoWoS e HBM como limitadores-chave, não apenas a capacidade de wafers.
  • Preocupações mais amplas com o risco geopolítico de Taiwan e com a dependência da ASML para ferramentas EUV; o consenso é que construir fábricas rivais exige capital e conhecimento extremos e leva uma década ou mais.

ARM vs x86 e o papel do Cobalt

  • Muitos veem o Arm como “inevitável” em servidores por eficiência, espelhando o AWS Graviton; outros argumentam que a ISA por si só não determina o desempenho.
  • Há debate sobre se o x86 pode sobreviver no longo prazo; alguns usuários se importam mais com desempenho absoluto e ecossistema de software, especialmente em desktops e HPC científico.
  • O Cobalt é interpretado como a resposta da Microsoft ao Graviton, otimizado para workloads do Azure e eficiência energética.

Ecossistema de software e a vantagem competitiva da CUDA

  • Ênfase repetida de que a verdadeira vantagem competitiva da Nvidia é CUDA, bibliotecas e ferramentas; tudo “simplesmente funciona” na Nvidia, enquanto alternativas muitas vezes exigem atrito.
  • Alguns argumentam que até vantagens de custo por execução de treinamento (por exemplo, Gaudi) são prejudicadas por iteração muito mais lenta e ferramentas mais fracas.
  • Novos formatos como MX podem importar, mas apenas se forem bem suportados em frameworks.

Acesso, propriedade e hardware como serviço

  • Preocupação de que aceleradores customizados estão se tornando infraestrutura “apenas por aluguel”; indivíduos e pequenas organizações ficam com hardware de consumo da Nvidia ou nada.
  • Isso é visto por alguns como parte de uma tendência mais ampla de afastamento da computação de uso geral controlada pelo usuário para hardware pertencente à nuvem (“Hardware as a Service”).

Precedente de FPGA e histórico de hardware da Microsoft

  • Várias referências a esforços anteriores da Microsoft: Project Catapult, Brainwave, Azure Boost usando FPGAs para rede e aceleração.
  • Alguns especulam que o Maia provavelmente se baseia em RTL/IP desenvolvido nesses projetos de FPGA, com ASICs agora justificados pela escala.

Impacto sobre desenvolvedores e usuários finais

  • Para a maioria dos desenvolvedores, VMs baseadas em Cobalt (como o Graviton hoje) são o ponto de contato mais provável; os benefícios devem aparecer principalmente em custo e eficiência.
  • Vários observam que a IA de ponta pode ficar fora do alcance de hobistas por enquanto, mas a história sugere que as capacidades podem se popularizar com o tempo.