Análise do Mac Studio M5 Ultra

Artigo original ↗ Discussão no Hacker News ↗

O novo Mac Studio M5 Ultra da Apple está sendo analisado como uma máquina de alto nível para executar modelos de linguagem localmente, com muitos comparando seu preço de $10k–$15k a aluguéis de GPUs na nuvem e GPUs de consumo como a RTX 5090 da Nvidia. Os comentaristas destacam seus pontos fortes em enorme memória unificada e modelos MoE, em contraste com seu throughput bruto inferior e valor comparado a GPUs dedicadas, especialmente para modelos densos da classe 27B. O debate mais amplo gira em torno de se a IA local algum dia será custo-efetiva em comparação com a nuvem ou hardware alugado, e o quanto os usuários devem trocar velocidade e qualidade do modelo por privacidade, controle e independência dos principais provedores de IA.

Trade-offs de Custo e Valor

  • Configurações totalmente equipadas do M5 Ultra Studio são estimadas em cerca de $12k–$15k+, o que leva a comparações com:
    • Anos de assinaturas de API ou “Pro” (OpenAI, OpenRouter, etc.).
    • Alugar GPUs ($5/hr H200; ~$.20/hr 5090) versus comprar hardware.
  • Muitos argumentam que IA local não é mais barata para a maioria das pessoas; outros observam:
    • Em alta utilização (bilhões de tokens/mês, agentes 24/7), o hardware pode se amortizar de forma favorável.
    • O hardware mantém valor de revenda e pode ser reutilizado além da IA.
  • Alguns veem o M5 Ultra como “hardware de hobby” em comparação com rigs de IA “sérios” de $100k–$1M+.

Desempenho vs Nvidia e Outro Hardware

  • Benchmarks: o M5 Ultra fica próximo de uma única RTX 5090 no Qwen3.8-27B denso em tokens/sec, mas:
    • Vários participantes afirmam que stacks otimizadas (vLLM, llama.cpp, NVFP4, MTP, DFlash) elevam a 5090/Pro 6000 para 100–300+ tok/s, muito acima dos números da análise.
    • Há debate sobre se a menor largura de banda de memória do Mac versus a maior largura de banda da 5090 é a principal limitação.
  • Vantagem do Mac: a enorme memória unificada (256–512GB) permite executar modelos MoE/flash muito grandes que não cabem em 32GB de VRAM.
  • Contra-argumento: quando os modelos excedem a RAM unificada e precisam de streaming do SSD, a velocidade despenca (por exemplo, Kimi K3 estimado em ~0.5 tok/s).
  • Energia: 5090 ~575W vs M5 Ultra ~480W; é possível reduzir o clock das GPUs para economizar energia com pequena perda de throughput. Builds com múltiplas 5090 são muito mais intensivas em energia e infraestrutura.

Denso vs MoE e Arquitetura

  • Benchmarks densos de 27B são vistos como enganosos para Macs; muitos argumentam que o grande MoE (Qwen Next, GLM Flash) é onde a grande memória unificada brilha.
  • Outros sustentam que modelos densos ainda fazem sentido em memória unificada até que a largura de banda se torne o gargalo.
  • Discussão sobre cache de especialistas, speculative decoding, batching e futuras otimizações de software; o impacto no “tempo real para concluir a tarefa” é enfatizado em vez de apenas tok/s bruto.

Local vs Cloud: Motivações e Limites

  • Motivações para local:
    • Privacidade, evitando a captura de dados pelo provedor e ToS/censura.
    • Controle total (agentes “cyber-capable” sem censura, pesquisa, hacking).
    • Experimentação de hobbyista e “possuir o laboratório”.
  • Limitações reconhecidas:
    • Modelos locais de pesos abertos ficam atrás dos modelos de ponta em nuvem, especialmente para código complexo e grandes bases de código.
    • Para muitas tarefas de desenvolvimento (aplicativos CRUD, trabalho de assistente), não é necessário algo no nível Sonnet/Astra; modelos da classe Qwen3.8-27B muitas vezes são “bons o suficiente”, embora não para todos.

macOS, Linux e Ecossistema

  • Alguns elogiam o macOS como um ambiente UNIX-like polido que “simplesmente funciona”.
  • Outros o veem como limitante para uso em homelab/servidor; preferem Linux para containers, cgroups/namespaces e controle total do código-fonte.
  • Asahi Linux é उल्लेखado, mas limitado por engenharia reversa e financiamento.

Perspectiva Futura

  • Rumores: gerações M6/M7 focando fortemente em IA, com o M7 Ultra supostamente mirando até 1.5TB de memória unificada e desempenho da classe Blackwell.
  • Debate sobre o equilíbrio de longo prazo: dispositivos locais (Macs, iPhones) versus data centers em hyperscale e NPUs/TPUs personalizadas.