Framework Core AI de Apple

Core AI vs Core ML vs MLX

• Core AI parece ser el nuevo framework principal de Apple para redes neuronales y transformers, con un nuevo formato .aimodel y un perfilador.
• Core ML ahora se posiciona principalmente para el ML «clásico»: árboles de decisión, características tabulares y modelos no neuronales; sigue siendo necesario para sistemas operativos y dispositivos antiguos (Core AI requiere OS 27+).
• MLX se describe como una pila de bring-your-own-weights, para investigación/experimentación, que no accede al Neural Engine (ANE) y no está orientada al despliegue para usuarios finales.
• Algunos participantes consideran confusa la segmentación de Apple (Core AI, Core ML, MLX, coreai-opt) y quieren documentación más clara sobre paridad de funciones.

Rendimiento, ANE y despliegue

• Core AI promete un uso eficiente de CPU, GPU y ANE; algunos se preguntan cómo se compara con las configuraciones actuales optimizadas para Metal / llama.cpp.
• La ingeniería inversa previa de APIs privadas de ANE se cita como evidencia de que Apple aún tiene margen de rendimiento sin explotar frente a los marcos públicos existentes.
• ANE ya ha sido utilizable a través de Core ML durante años; MLX sigue sin poder usarlo.

Modelos fundacionales en el dispositivo y herramientas de Apple

• Hay un fuerte entusiasmo por los modelos fundacionales en el dispositivo de Apple y la nueva herramienta de línea de comandos fm (incluido un servidor local de API de «Chat Completions»).
• Los desarrolladores ven atractivo en un modelo a nivel de sistema, en el dispositivo, expuesto mediante APIs del SO, además de «private cloud compute» gratis para apps pequeñas con garantías de privacidad de nivel servidor.
• A algunos les preocupan los límites, la monetización y si Apple dará soporte a endpoints totalmente compatibles con OpenAPI.

Debate entre IA local y en la nube, y escalado

• Un grupo afirma que la IA se moverá en gran medida al dispositivo, con «tokens infinitos» en hardware de consumo y una necesidad cada vez menor de proveedores centralizados.
• Otros argumentan que los grandes modelos frontier siguen superando a los pequeños, siguen siendo demasiado pesados para dispositivos comunes y actualmente son más baratos de usar en la nube.
• Hay desacuerdo sobre si el escalado de modelos está alcanzando límites o simplemente encontrando restricciones de coste/latencia.
• Muchos informan que los modelos abiertos de ~30–40B (Qwen, Gemma, etc.) ya ofrecen resultados «suficientemente buenos» para muchas tareas de programación y agentes en escritorios, aunque todavía no al nivel de calidad de los frontier de primer nivel.

Frameworks multiplataforma y ecosistema

• En Linux y en plataformas no Apple, no existe un estándar similar a Core AI; los desarrolladores tienen que lidiar con múltiples pilas (CUDA, onnxruntime, llama.cpp, NPUs de los proveedores).
• Los participantes esperan una fragmentación continuada, con Apple añadiendo ahora otra pila distinta, pero también habilitando funciones como la inferencia distribuida entre Macs (por ejemplo, a través de Thunderbolt).