M5 Ultra Mac Studio 评测

原文 ↗ Hacker News 讨论 ↗

Apple 新的 M5 Ultra Mac Studio 正被拆解为一台用于本地运行大型语言模型的高端机器，许多人在其 1 万至 1.5 万美元的价格与云端 GPU 租用以及 Nvidia RTX 5090 之类的消费级 GPU 之间进行权衡。评论者强调，它在超大统一内存和 MoE 模型方面的优势，与其原始吞吐量较弱、以及相较专用 GPU 的性价比不足形成对比，尤其是在 dense 27B 级模型上。更广泛的争论集中在：本地 AI 是否真的会比云端或租赁硬件更具成本效益，以及用户愿意为了隐私、控制权和摆脱大型 AI 提供商的独立性，在速度和模型质量上做出多大取舍。

成本与价值权衡

  • 满载的 M5 Ultra Studio 配置估计约为 1.2 万至 1.5 万美元以上，因此有人将其与以下选项进行比较：
    • 多年的 API 或“Pro”订阅（OpenAI、OpenRouter 等）。
    • 租用 GPU（H200 约 5 美元/小时；5090 约 0.20 美元/小时）与购买硬件的对比。
  • 许多人认为，对于大多数个人用户而言，本地 AI 并不更便宜；也有人指出：
    • 在高利用率下（每月数十亿 token、24/7 代理），硬件摊销可能更划算。
    • 硬件保有转售价值，并且除 AI 外还可重复利用。
  • 有些人认为，与 10 万美元到 100 万美元以上的“严肃” AI 设备相比，M5 Ultra 更像是“爱好者硬件”。

性能对比 Nvidia 与其他硬件

  • 基准测试：M5 Ultra 在密集型 Qwen3.8-27B 上的 tokens/sec 接近单张 RTX 5090，但：
    • 多位发帖者声称，经过优化的栈（vLLM、llama.cpp、NVFP4、MTP、DFlash）能将 5090/Pro 6000 推到 100–300+ tok/s，远高于评测中的数字。
    • 争论点在于，Mac 较低的内存带宽是否是主要瓶颈，而 5090 更高的带宽是否更关键。
  • Mac 的优势：超大的统一内存（256–512GB）使其能够运行非常大的 MoE/flash 模型，而这些模型装不进 32GB VRAM。
  • 反方观点：一旦模型超过统一内存并需要 SSD 流式读取，速度就会崩溃（例如，Kimi K3 估计约为 ~0.5 tok/s）。
  • 功耗：5090 约 575W，而 M5 Ultra 约 480W；你可以对 GPU 降频以节省电力，吞吐量只会小幅下降。多张 5090 的配置对电力和基础设施的要求要高得多。

Dense vs MoE 与架构

  • Dense 27B 基准测试被认为会误导 Mac；许多人认为，大型 MoE（Qwen Next、GLM Flash）才是大统一内存真正发力的场景。
  • 也有人认为，在统一内存中，dense 模型仍然有意义，直到带宽成为瓶颈为止。
  • 讨论涉及专家缓存、投机解码、批处理以及未来的软件优化；大家强调的是对真实“完成任务所需时间”的影响，而不只是原始 tok/s。

本地 vs 云端：动机与限制

  • 本地部署的动机：
    • 隐私，避免提供商的数据收集和 ToS/审查。
    • 完全控制（不受限制的“具备网络攻击能力”的代理、研究、黑客行为）。
    • 爱好者实验与“拥有实验室”。
  • 承认的限制：
    • 本地开权重模型落后于前沿云模型，尤其是在复杂编码和大型代码库方面。
    • 对于许多开发任务（CRUD 应用、助手工作），并不需要 Sonnet/Astra 级别；Qwen3.8-27B 级别的模型通常“足够好”，尽管并非对所有人都如此。

macOS、Linux 与生态

  • 有人称赞 macOS 是一个精致的类 UNIX 环境，“开箱即用”。
  • 也有人认为它不适合家庭实验室/服务器用途；他们更喜欢 Linux，因为容器、cgroups/namespaces 和完整源码控制更强。
  • Asahi Linux 被提及，但受限于逆向工程和资金。

未来展望

  • 传闻：M6/M7 世代将高度聚焦 AI，M7 Ultra 据称目标最高可达 1.5TB 统一内存，并具备 Blackwell 级性能。
  • 关于长期平衡的争论：本地设备（Mac、iPhone）与超大规模数据中心以及定制 NPU/TPU 之间，究竟谁更占优势。