Reseña del M5 Ultra Mac Studio

Artículo original ↗ Discusión en Hacker News ↗

El nuevo M5 Ultra Mac Studio de Apple está siendo analizado como una máquina de gama alta para ejecutar modelos de lenguaje grandes de forma local, y muchos comparan su precio de 10k–15k dólares con el alquiler de GPUs en la nube y GPUs de consumo como la RTX 5090 de Nvidia. Los comentaristas destacan sus puntos fuertes en la enorme memoria unificada y los modelos MoE frente a su menor rendimiento bruto y su menor valor frente a GPUs dedicadas, especialmente en modelos densos de clase 27B. El debate más amplio gira en torno a si la IA local llegará a ser rentable frente a la nube o al hardware alquilado, y cuánto deberían sacrificar los usuarios en velocidad y calidad de modelo a cambio de privacidad, control e independencia de los grandes proveedores de IA.

Coste y compensaciones de valor

  • Las configuraciones totalmente equipadas del Studio M5 Ultra se estiman en torno a 12k–15k+ dólares, lo que provoca comparaciones con:
    • Años de suscripciones de API o “Pro” (OpenAI, OpenRouter, etc.).
    • Alquilar GPUs (5 $/h H200; ~0,20 $/h 5090) frente a comprar hardware.
  • Muchos sostienen que la IA local no es más barata para la mayoría de las personas; otros señalan:
    • Con una utilización alta (miles de millones de tokens al mes, agentes 24/7), el hardware puede amortizarse favorablemente.
    • El hardware conserva valor de reventa y puede reutilizarse más allá de la IA.
  • Algunos ven el M5 Ultra como “hardware de aficionado” frente a rigs de IA “serios” de 100k–1M+ dólares.

Rendimiento frente a Nvidia y otro hardware

  • Benchmarks: el M5 Ultra se acerca a una sola RTX 5090 en Qwen3.8-27B denso en tokens/segundo, pero:
    • Varios comentaristas afirman que stacks optimizados (vLLM, llama.cpp, NVFP4, MTP, DFlash) elevan la 5090/Pro 6000 a 100–300+ tok/s, muy por encima de los números de la reseña.
    • Debate sobre si el menor ancho de banda de memoria del Mac frente al mayor de la 5090 es la principal limitación.
  • Ventaja del Mac: una enorme memoria unificada (256–512 GB) permite ejecutar modelos MoE/flash muy grandes que no caben en 32 GB de VRAM.
  • Contrapunto: cuando los modelos superan la RAM unificada y requieren streaming desde SSD, la velocidad se desploma (por ejemplo, Kimi K3 estimado en ~0,5 tok/s).
  • Consumo: 5090 ~575 W frente a M5 Ultra ~480 W; puedes reducir la frecuencia de las GPUs para ahorrar energía con una pequeña pérdida de rendimiento. Las construcciones con varias 5090 son muchísimo más intensivas en energía e infraestructura.

Denso frente a MoE y arquitectura

  • Los benchmarks de 27B densos se ven como engañosos para los Mac; muchos sostienen que el gran MoE (Qwen Next, GLM Flash) es donde brilla la gran memoria unificada.
  • Otros sostienen que los modelos densos siguen teniendo sentido en memoria unificada hasta que el ancho de banda se convierta en el cuello de botella.
  • Se habla de caché de expertos, decodificación especulativa, batching y futuras optimizaciones de software; se enfatiza el impacto en el “tiempo real para completar la tarea” por encima de los tok/s brutos.

Local frente a nube: motivaciones y límites

  • Motivaciones para lo local:
    • Privacidad, evitar la captura de datos por parte del proveedor y los Términos de servicio/la censura.
    • Control total (agentes “cyber-capable” sin censura, investigación, hacking).
    • Experimentación de aficionado y “poseer el laboratorio”.
  • Limitaciones reconocidas:
    • Los modelos locales de pesos abiertos van por detrás de los modelos cloud de frontera, especialmente para código complejo y bases de código grandes.
    • Para muchas tareas de desarrollo (apps CRUD, trabajo de asistente), no hace falta un nivel Sonnet/Astra; los modelos de clase Qwen3.8-27B suelen ser “suficientemente buenos”, aunque no para todo el mundo.

macOS, Linux y ecosistema

  • Algunos elogian macOS como un entorno pulido tipo UNIX que “simplemente funciona”.
  • Otros lo ven como limitante para uso en homelab/servidor; prefieren Linux para contenedores, cgroups/namespaces y control total del código fuente.
  • Se menciona Asahi Linux, pero limitado por la ingeniería inversa y la financiación.

Perspectiva futura

  • Rumores: las generaciones M6/M7 se centrarían fuertemente en IA, con el M7 Ultra supuestamente apuntando a hasta 1,5 TB de memoria unificada y rendimiento de clase Blackwell.
  • Debate sobre el equilibrio a largo plazo: dispositivos locales (Macs, iPhones) frente a centros de datos a hiperescala y NPUs/TPUs personalizadas.