Apple ML Research：在 Mac Studio 上使用 MLX 运行 Muse Spark Open

原文 ↗ Hacker News 讨论 ↗

Apple 最新的 ML 研究文章展示了其 Mac Studio 的 M 系列台式机如何借助 MLX 框架和基于 Thunderbolt 的集群，在本地运行 Meta 接近万亿参数的 Muse Spark Open 模型。评论者认为这是一项令人印象深刻的概念验证，但对其实用性提出质疑，指出多台 Mac Studio 的组合成本高达数万美元，而前沿模型的 API 访问却相对便宜。这场讨论凸显了本地推理与云端推理之间更广泛的张力，也反映出 Apple 正在成为 AI 工作负载中高端“卖铲人”的新角色，以及开源权重模型是否正迈向高效、真正可商品化的硬件部署。

本地推理的成本与经济性

  • 在四台高端 Mac Studio 上运行 Muse Spark Open 被认为很令人印象深刻，但也非常昂贵（数万美元）。
  • 多位评论者将其与通过 API/订阅方式访问（例如经由 OpenRouter）进行比较，并认为对许多人来说，在硬件/模型快速更迭的情况下，按量付费更便宜也更灵活。
  • 也有人提到自己曾亲历拥有硬件在多年后回本，而不是一直租用，因此强调这种取舍在很大程度上取决于利用率。

模型选择、基准与性能

  • 有人认为 Apple 在展示 Muse Spark Open 时有“压低对手”的嫌疑，因为它展示的是 4-bit，而例如 Qwen 只以 BF16 展示，这并不是用户通常会以这种方式运行它的情况。
  • 多位评论者称，Muse Spark 在质量基准上不如更小/开源模型（例如 300B 级别）表现好，不过它在速度和 token 效率方面受到称赞。
  • 也有人更愿意在同样的硬件上运行 GLM 5.3 Flash、Qwen 或 DeepSeek 之类的模型。

Apple–Meta 关系与营销角度

  • 由于双方过去的紧张关系，几个人觉得 Apple 展示一个 Meta 模型有些奇怪。
  • 有人将其视为交叉推广：Meta 花钱构建开放权重模型；Apple 则出售昂贵硬件来运行它们。
  • Apple 官方文章标题聚焦于 MLX/RDMA，但讨论串指出，Muse 的强调感觉像是联合营销。

硬件策略与 AI 生态

  • 许多人认为，Apple 的目标是“卖铁锹”，而不必在模型竞赛中胜出。
  • 讨论集中在 Apple 是否在 AI 基础设施上落后了（没有 CUDA/TPU 式栈，也没有真正的数据中心产品），还是说它只是走一条不同的路，专注于消费级设备和垂直整合。
  • 有些人认为，这可能是迈向广泛的设备端“够用就好”推理的早期一步，长期来看可能伤及 Nvidia。

隐私、Photos 与本地模型

  • 一派认为本地模型以及 Apple 的 Photos/“Foundation”模型具有隐私导向，并且可用于在设备上进行搜索/筛选，而无需将数据发送到云端 LLM。
  • 另一派则质疑 iCloud Photos 即使开启高级选项也并非真正私密，并认为默认设置和元数据削弱了隐私叙事。

macOS 后台负载与用户体验

  • 一个分支讨论报告称，系统守护进程（媒体分析、iCloud/手机同步、Spotlight 等）持续占用大量 CPU，据称在新“AI”功能推出后更严重，并导致 M 系列 Mac 发热/降频。
  • 也有人表示自己的体验恰恰相反（机器保持凉爽且流畅），这表明可能是 bug 或边缘情况；真实普遍性尚不清楚。