Apple quer que a IA rode diretamente no seu hardware em vez da nuvem
A aposta da Apple em executar IA generativa diretamente no iPhone e em outros dispositivos é vista como uma forma de melhorar a privacidade, reduzir a dependência de infraestrutura em nuvem e habilitar recursos mais rápidos e confiáveis, como uma Siri muito melhor ou processamento de imagem e texto no dispositivo. Os comentaristas se dividem sobre se o hardware atual — especialmente a RAM limitada — é suficiente para LLMs úteis, mas muitos observam que modelos menores já funcionam bem em iPhones e iPads recentes. Além dos obstáculos técnicos, essa estratégia é vista tanto como uma maneira de reduzir custos para a Apple quanto como um possível motor de futuras trocas de hardware em um mercado de smartphones já saturado.
IA no dispositivo vs. IA na nuvem
- Muitos veem a inferência no dispositivo como o “próximo passo” para os telefones: menor latência, uso offline e melhor privacidade.
- Outros observam que os modelos na nuvem continuarão mais capazes devido a tamanhos de modelo maiores e acesso a dados; o local muitas vezes será “bom o bastante”, não o melhor.
- Visões híbridas são comuns: modelo base e contexto pessoal no dispositivo, com chamadas opcionais à nuvem para eventos atuais ou tarefas pesadas.
Siri e assistentes de voz
- Há forte demanda por uma Siri significativamente melhor; alguns dizem que uma Siri funcional, no nível de LLM, por si só justificaria a troca de telefone.
- A frustração é generalizada: comportamento inconsistente, “incantações” quebradas, regressões aleatórias e mau tratamento de múltiplos usuários.
- Alguns argumentam que um LLM poderia corrigir robustez e compreensão; outros querem que a Apple primeiro conserte a estabilidade básica antes de adicionar complexidade.
Hardware, modelos e desempenho
- Há debate sobre a historicamente baixa RAM da Apple: 8 GB é visto como apertado para LLMs modernos, embora iPads/Macs de ponta atuais já consigam rodar modelos de 7B–13B localmente.
- Largura de banda/RAM, não armazenamento, é vista como o principal gargalo; os modelos precisam caber na memória.
- A pesquisa recente da Apple sobre inferência de LLMs com pouca memória é citada como uma tentativa de contornar essas limitações.
- Alguns esperam coprocessadores de IA dedicados e possivelmente uma categoria de dispositivo focada em IA.
Privacidade, modelo de negócio e custos
- A IA no dispositivo combina com a mensagem de privacidade da Apple e reduz suas contas de computação na nuvem.
- Vários observam que a Apple prefere vender hardware de alta margem em vez de executar inferência cara de graça.
- Há interesse em melhorias opcionais baseadas na nuvem, mas surgem dúvidas sobre quem pagaria e como (assinaturas, pacotes).
Ecossistema, abertura e regulação
- Há ceticismo de que a Apple permita modelos de IA arbitrários no nível do sistema; a expectativa é de um único assistente “oficial”.
- Contra-argumento: APIs atuais (Core ML, Neural Engine) já permitem modelos de terceiros no dispositivo, embora não como substitutos da Siri.
- Discute-se a pressão da UE sobre a abertura da App Store; até onde isso se estenderá a modelos e assistentes de IA ainda não está claro.
IA local existente e experiência de uso
- Usuários relatam boas experiências com recursos no dispositivo: busca de conteúdo em fotos, Live Text, descrição de imagens e processamento da Siri no Apple Watch.
- Esses recursos de IA “invisíveis” são citados como prova de que a Apple vem investindo em ML local há anos, mesmo sem a marca de IA generativa.