Apple Core AI Framework

मूल लेख ↗ Hacker News चर्चा ↗

Core AI बनाम Core ML बनाम MLX

  • Core AI Apple का नया प्राथमिक फ़्रेमवर्क प्रतीत होता है, जो neural networks और transformers के लिए है, और इसमें नया .aimodel format तथा profiler है।
  • Core ML अब मुख्यतः “classic” ML के लिए स्थित है: decision trees, tabular features, और non-neural models; पुराने OSes और devices के लिए यह अभी भी आवश्यक है (Core AI के लिए OS 27+ चाहिए)।
  • MLX को bring-your-own-weights, research/experimentation stack के रूप में वर्णित किया गया है, जो Neural Engine (ANE) तक पहुँच नहीं करता और end-user deployment के लिए लक्षित नहीं है।
  • कुछ प्रतिभागियों को Apple का segmentation (Core AI, Core ML, MLX, coreai-opt) भ्रमित करने वाला लगता है और वे अधिक स्पष्ट feature-parity docs चाहते हैं।

Performance, ANE, और deployment

  • Core AI CPU, GPU, और ANE के कुशल उपयोग का वादा करता है; कुछ लोग सोचते हैं कि यह मौजूदा Metal-optimized / llama.cpp setups की तुलना में कैसा है।
  • private ANE APIs की पहले की reverse-engineering को इस बात के प्रमाण के रूप में उद्धृत किया गया है कि Apple के पास मौजूदा public frameworks की तुलना में अभी भी अप्रयुक्त performance headroom है।
  • ANE पहले से ही Core ML के माध्यम से वर्षों से उपयोग योग्य रहा है; MLX अभी भी इसका उपयोग नहीं कर सकता।

On-device foundation models और Apple tools

  • Apple के on-device foundation models और नए fm command-line tool के लिए मजबूत उत्साह है (जिसमें local “Chat Completions” API server भी शामिल है)।
  • Developers को OS APIs के माध्यम से exposed एक system-wide, on-device model का आकर्षण दिखता है, साथ ही छोटे apps के लिए free “private cloud compute” भी, जिसमें server-grade privacy guarantees हों।
  • कुछ लोगों को limits, monetization, और यह लेकर चिंता है कि क्या Apple fully OpenAPI-compatible endpoints का समर्थन करेगा।

Local बनाम cloud AI और scaling debate

  • एक समूह का दावा है कि AI बड़े पैमाने पर on-device की ओर जाएगा, consumer hardware पर “infinite tokens” और centralized providers की घटती आवश्यकता के साथ।
  • अन्य लोग तर्क देते हैं कि बड़े frontier models अभी भी छोटे models से बेहतर प्रदर्शन करते हैं, सामान्य devices के लिए अभी भी बहुत भारी हैं, और फिलहाल cloud के माध्यम से उन तक पहुँचना सस्ता है।
  • इस पर असहमति है कि क्या model scaling limits पर पहुँच रहा है या सिर्फ cost/latency constraints का सामना कर रहा है।
  • कई लोग रिपोर्ट करते हैं कि ~30–40B open models (Qwen, Gemma, आदि) पहले से ही desktops पर बहुत सारे coding और agentic tasks के लिए “good enough” परिणाम दे रहे हैं, हालांकि अभी top-tier frontier quality तक नहीं पहुँचे हैं।

Cross-platform frameworks और ecosystem

  • Linux और non-Apple platforms पर, Core-AI-जैसा कोई standard मौजूद नहीं है; developers को कई stacks (CUDA, onnxruntime, llama.cpp, vendor NPUs) संभालने पड़ते हैं।
  • प्रतिभागियों को fragmentation जारी रहने की उम्मीद है, और Apple अब एक और अलग stack जोड़ रहा है, लेकिन साथ ही Macs के बीच distributed inference जैसी features भी सक्षम कर रहा है (जैसे Thunderbolt के over).