Ferret: Um Modelo Multimodal de Linguagem de Grande Porte
O projeto Ferret da Apple mostra um modelo multimodal de linguagem de grande porte que consegue referenciar e raciocinar com precisão sobre regiões em imagens, sugerindo futuras capacidades de IA no dispositivo para tarefas como acessibilidade, grounding visual e assistentes mais ricos. Os comentaristas observam que Ferret é um finetune de uso apenas para pesquisa, construído sobre modelos abertos existentes (LLaMA, Vicuna, LLaVA) e treinado em GPUs Nvidia A100, o que destaca tanto a dependência da Apple de infraestrutura padrão de IA quanto seu foco em inferência privacidade-friendly e centrada no dispositivo. Grande parte da conversa gira em torno do que isso implica para Siri, iOS 18 e o panorama mais amplo da IA, com muitos esperando que modelos locais “bons o suficiente” em telefones erodam a vantagem de serviços baseados em nuvem como ChatGPT, embora o desempenho real no nível do GPT‑4 ainda pareça fora do alcance do hardware móvel no curto prazo.
Definição e Nomeação de MLLM / Ferret
- MLLM é discutido como “Multimodal Large Language Model”, lidando com múltiplas modalidades de entrada (por exemplo, texto + imagens).
- Há algum debate sobre a terminologia (MLLM vs LLMM, o que é “language” se as entradas não são linguísticas), mas o consenso permanece com o estabelecido “MLLM”.
- O nome Ferret é visto como um modelo com tema animal e um sentido figurado de “buscador diligente”, não ficando claro se é ou não um acrônimo.
O que Ferret Realmente É
- O artigo descreve Ferret como um LLM multimodal focado em referência espacial / grounding em imagens: apontar para regiões arbitrárias, formas ou coordenadas, e descrevê-las com precisão.
- Usa uma representação híbrida de regiões e um amostrador visual com consciência espacial; treinado em um conjunto de dados GRIT curado com hard negatives para reduzir alucinações.
- Alguns veem o resumo como repleto de buzzwords; outros consideram as mudanças arquiteturais (tratamento de regiões) a verdadeira inovação.
- Vários observam que é um finetune sobre Vicuna/LLaMA e LLava, e não um modelo base criado do zero; o entusiasmo é atenuado por isso.
Licenciamento e Abertura
- Lançado “apenas para uso em pesquisa”, com dados não comerciais (CC BY-NC 4.0) e restrições herdadas de LLaMA, Vicuna e GPT‑4.
- Há decepção de que isso não seja verdadeiramente open-source; especula-se que restrições de licenciamento nos dados/modelos subjacentes forçam a postura de uso apenas para pesquisa.
A Estratégia de IA da Apple e Seus Moats
- Muitos veem isso como parte de a Apple “preencher o moat” contra provedores de LLM em nuvem, habilitando modelos multimodais e kits de ferramentas no dispositivo.
- A visão é que os LLMs estão se tornando commodities; o verdadeiro moat da Apple é hardware + base instalada e integração profunda com a plataforma.
- Outros argumentam que OpenAI e outros podem copiar a abordagem, mas não conseguem igualar a integração em nível de sistema operacional no iPhone.
LLMs no Dispositivo, Siri e iOS
- Forte desejo por uma Siri significativamente melhor, alimentada por LLM, e por recursos “focados em IA” do iOS 18, misturando modelos locais pequenos com fallback para a nuvem.
- As opiniões divergem sobre a viabilidade de modelos da classe do GPT‑4 em telefones no curto prazo; o consenso é que modelos menores com ajuda do lado do servidor são mais prováveis.
- Alguns argumentam que até um modelo de 7B superaria drasticamente a Siri atual; outros dizem que modelos de 7B/13B ainda são “burros” e pouco confiáveis.
Segurança, Controle e a Cautela da Apple
- Vários esperam que a Apple imponha fortes restrições a qualquer LLM no dispositivo devido a segurança, responsabilidade legal e preocupações com a marca, possivelmente limitando sua generalidade.
- Há preocupação de que assistentes verdadeiramente imprevisíveis e totalmente abertos sejam incompatíveis com a experiência de usuário rigidamente controlada da Apple.
Hardware, Treinamento e CUDA
- Foi notado que Ferret foi treinado em 8 GPUs Nvidia A100; discute-se que a Apple ainda depende de clusters padrão Linux/Nvidia para treinamento.
- Debate sobre se isso enfraquece o branding de ML do Apple Silicon; o contra-argumento é que treinamento e inferência são diferentes, e data centers são um domínio comoditizado.