Framework Core AI de Apple

Artículo original ↗ Discusión en Hacker News ↗

El nuevo framework Core AI de Apple se posiciona como el sucesor para cargas de trabajo de redes neuronales en dispositivos Apple, con la intención de ejecutar modelos derivados de PyTorch de forma eficiente sobre CPU, GPU y el Neural Engine, a la vez que reduce Core ML a tareas de ML más tradicionales y no neuronales. Los comentaristas valoran su papel junto a MLX, sus límites de versión de SO y hardware, y cómo podría reconfigurar la IA en el dispositivo frente a la nube, especialmente mientras Apple lanza modelos fundacionales a nivel de sistema y herramientas como el servidor `fm`. El debate más amplio gira en torno a si los modelos locales cada vez más capaces erosionarán la ventaja de los grandes modelos alojados en la nube, dadas las restricciones de coste, rendimiento y energía.

Core AI vs Core ML vs MLX

  • Core AI parece ser el nuevo framework principal de Apple para redes neuronales y transformers, con un nuevo formato .aimodel y un perfilador.
  • Core ML ahora se posiciona principalmente para el ML «clásico»: árboles de decisión, características tabulares y modelos no neuronales; sigue siendo necesario para sistemas operativos y dispositivos antiguos (Core AI requiere OS 27+).
  • MLX se describe como una pila de bring-your-own-weights, para investigación/experimentación, que no accede al Neural Engine (ANE) y no está orientada al despliegue para usuarios finales.
  • Algunos participantes consideran confusa la segmentación de Apple (Core AI, Core ML, MLX, coreai-opt) y quieren documentación más clara sobre paridad de funciones.

Rendimiento, ANE y despliegue

  • Core AI promete un uso eficiente de CPU, GPU y ANE; algunos se preguntan cómo se compara con las configuraciones actuales optimizadas para Metal / llama.cpp.
  • La ingeniería inversa previa de APIs privadas de ANE se cita como evidencia de que Apple aún tiene margen de rendimiento sin explotar frente a los marcos públicos existentes.
  • ANE ya ha sido utilizable a través de Core ML durante años; MLX sigue sin poder usarlo.

Modelos fundacionales en el dispositivo y herramientas de Apple

  • Hay un fuerte entusiasmo por los modelos fundacionales en el dispositivo de Apple y la nueva herramienta de línea de comandos fm (incluido un servidor local de API de «Chat Completions»).
  • Los desarrolladores ven atractivo en un modelo a nivel de sistema, en el dispositivo, expuesto mediante APIs del SO, además de «private cloud compute» gratis para apps pequeñas con garantías de privacidad de nivel servidor.
  • A algunos les preocupan los límites, la monetización y si Apple dará soporte a endpoints totalmente compatibles con OpenAPI.

Debate entre IA local y en la nube, y escalado

  • Un grupo afirma que la IA se moverá en gran medida al dispositivo, con «tokens infinitos» en hardware de consumo y una necesidad cada vez menor de proveedores centralizados.
  • Otros argumentan que los grandes modelos frontier siguen superando a los pequeños, siguen siendo demasiado pesados para dispositivos comunes y actualmente son más baratos de usar en la nube.
  • Hay desacuerdo sobre si el escalado de modelos está alcanzando límites o simplemente encontrando restricciones de coste/latencia.
  • Muchos informan que los modelos abiertos de ~30–40B (Qwen, Gemma, etc.) ya ofrecen resultados «suficientemente buenos» para muchas tareas de programación y agentes en escritorios, aunque todavía no al nivel de calidad de los frontier de primer nivel.

Frameworks multiplataforma y ecosistema

  • En Linux y en plataformas no Apple, no existe un estándar similar a Core AI; los desarrolladores tienen que lidiar con múltiples pilas (CUDA, onnxruntime, llama.cpp, NPUs de los proveedores).
  • Los participantes esperan una fragmentación continuada, con Apple añadiendo ahora otra pila distinta, pero también habilitando funciones como la inferencia distribuida entre Macs (por ejemplo, a través de Thunderbolt).