Apple Core AI 框架

原文 ↗ Hacker News 讨论 ↗

Core AI vs Core ML vs MLX

  • Core AI 似乎是 Apple 面向神经网络和 transformer 的新主力框架，带有新的 .aimodel 格式和分析器。
  • Core ML 现在主要定位于“经典” ML：决策树、表格特征和非神经网络模型；对于较旧的操作系统和设备，它仍然是必需的（Core AI 需要 OS 27+）。
  • MLX 被描述为一种自带权重、面向研究/实验的技术栈，不会访问 Neural Engine（ANE），也不是以最终用户部署为目标。
  • 一些参与者觉得 Apple 的分层（Core AI、Core ML、MLX、coreai-opt）很混乱，希望有更清晰的功能对等文档。

性能、ANE 与部署

  • Core AI 承诺高效利用 CPU、GPU 和 ANE；有人想知道它与当前经过 Metal 优化的 / llama.cpp 方案相比如何。
  • 之前对私有 ANE API 的逆向工程被引用为证据，说明与现有公开框架相比，Apple 仍有尚未挖掘的性能空间。
  • ANE 多年来已经可以通过 Core ML 使用；MLX 仍然不能使用它。

设备端基础模型与 Apple 工具

  • 对 Apple 的设备端基础模型以及新的 fm 命令行工具（包括本地的“Chat Completions” API 服务器）表现出强烈热情。
  • 开发者看重通过 OS API 暴露的系统级、设备端模型，以及为较小应用提供免费的“private cloud compute”，并带有服务器级隐私保障。
  • 也有人担心限制、变现方式，以及 Apple 是否会支持完全兼容 OpenAPI 的端点。

本地 vs 云端 AI 与规模化争论

  • 一方认为 AI 会大规模迁移到设备端，消费者硬件上会有“无限 tokens”，对中心化提供商的需求会缩小。
  • 另一些人则认为大型前沿模型仍然优于小模型，对常见设备来说仍然过于沉重，而且目前通过云端访问更便宜。
  • 关于模型扩展是否已经触及极限，还是仅仅遇到了成本/延迟约束，存在分歧。
  • 许多人表示，大约 30–40B 的开源模型（Qwen、Gemma 等）在桌面端已经能为大量编程和 agentic 任务提供“足够好”的结果，不过还没有达到顶级前沿质量。

跨平台框架与生态系统

  • 在 Linux 和非 Apple 平台上，并不存在类似 Core AI 的标准；开发者只能同时使用多个技术栈（CUDA、onnxruntime、llama.cpp、厂商 NPU）。
  • 参与者预计这种碎片化还会持续，而 Apple 现在又新增了另一套独立技术栈，但也启用了诸如跨 Mac 分布式推理（例如通过 Thunderbolt）之类的功能。