Apple ML Research: Muse Spark Open con MLX en Mac Studio

Artículo original ↗ Discusión en Hacker News ↗

La última publicación de Apple ML Research muestra cómo sus escritorios Mac Studio con chips M pueden ejecutar localmente el modelo Muse Spark Open, de casi un billón de parámetros, de Meta usando el framework MLX y agrupación basada en Thunderbolt. Los comentaristas lo ven como una prueba de concepto impresionante, pero cuestionan su practicidad, señalando que configuraciones con varios Mac Studio cuestan decenas de miles de dólares frente al acceso relativamente barato por API a modelos de frontera. El intercambio pone de relieve tensiones más amplias entre la inferencia local y la nube, el papel emergente de Apple como un gran “vendedor de palas” para cargas de trabajo de IA, y si los modelos de pesos abiertos están avanzando hacia una implementación eficiente y realmente común en hardware estándar.

Coste y economía de la inferencia local

  • Ejecutar Muse Spark Open en cuatro Mac Studio de gama alta se considera impresionante, pero muy caro (decenas de miles de dólares).
  • Varios comentaristas comparan esto con pagar por acceso a API/suscripción (por ejemplo, mediante OpenRouter) y argumentan que, para muchos, los créditos son más baratos y flexibles dada la rápida rotación de hardware/modelos.
  • Otros señalan experiencias personales en las que poseer hardware salió rentable durante muchos años frente a alquilarlo, subrayando que la compensación depende mucho de la utilización.

Elección de modelo, benchmarks y rendimiento

  • Algunos creen que Apple favoreció a unas alternativas frente a otras al mostrar Muse Spark Open en 4 bits mientras, por ejemplo, Qwen solo se muestra en BF16, que no es como normalmente lo ejecutaría un usuario.
  • Varios comentaristas afirman que Muse Spark rinde por debajo de modelos más pequeños/de código abierto (por ejemplo, de clase 300B) en benchmarks de calidad, aunque es elogiado por su velocidad y eficiencia en tokens.
  • Otros preferirían ejecutar modelos como GLM 5.3 Flash, Qwen o DeepSeek en el mismo hardware.

Relación Apple–Meta y ángulo de marketing

  • A varias personas les parece extraño que Apple esté mostrando un modelo de Meta, dadas sus tensiones pasadas.
  • Algunos lo interpretan como una promoción cruzada: Meta gasta para construir modelos de pesos abiertos; Apple vende hardware caro para ejecutarlos.
  • El título oficial del artículo de Apple se centra en MLX/RDMA, pero el hilo señala que el énfasis en Muse se percibe como co-marketing.

Estrategia de hardware y ecosistema de IA

  • Muchos sostienen que Apple está “vendiendo las palas” en lugar de necesitar ganar la carrera de los modelos.
  • Hay debate sobre si Apple va por detrás en infraestructura de IA (sin un stack tipo CUDA/TPU, sin una oferta real para centros de datos) o si simplemente juega a otra cosa centrada en dispositivos de consumo e integración vertical.
  • Algunos ven esto como un primer paso hacia una inferencia “lo bastante buena” ampliamente distribuida en el dispositivo que podría perjudicar a Nvidia a largo plazo.

Privacidad, Fotos y modelos locales

  • Un bando ve los modelos locales y los modelos de Apple para Fotos/“Foundation” como orientados a la privacidad y útiles para búsqueda/filtrado en el dispositivo sin enviar datos a LLM en la nube.
  • Otro bando disputa que iCloud Photos sea realmente privado, incluso con opciones avanzadas, y argumenta que los ajustes predeterminados y los metadatos socavan la historia de privacidad.

Carga en segundo plano de macOS y experiencia de usuario

  • Un subhilo informa de un uso intenso y constante de CPU por parte de demonios del sistema (análisis de medios, sincronización de iCloud/teléfono, Spotlight, etc.), supuestamente empeorado por nuevas funciones de “IA” y causando calor/reducción de rendimiento en Macs con M-series.
  • Otros dicen que su experiencia es la contraria (las máquinas se mantienen frías y rápidas), lo que sugiere posibles fallos o casos límite; la prevalencia real no está clara.