Gemma: Novos Modelos Abertos
O lançamento pela Google dos modelos de linguagem “abertos” Gemma 2B e 7B é bem recebido por seus bons benchmarks, suporte para execução local (llama.cpp, Ollama, gemma.cpp) e uso comercial permissivo, posicionando-os como concorrentes do Llama 2, Mistral e Phi-2. Comentadores investigam o design técnico (tokenizer grande de 256k, escolhas de arquitetura, comportamento de quantização, contexto de 8k) e observam que os pesos base e ajustados por instrução estão disponíveis, mas os dados e o código de treinamento não, levantando dúvidas sobre o quão “abertos” esses modelos realmente são. Grande parte do debate se concentra na licença personalizada da Google e nas restrições de segurança/alinhamento, com alguns vendo isso como gestão de risco razoável e outros como algo restritivo, politicamente enviesado ou inadequado para dependência comercial séria.
Desempenho e arquitetura do modelo
- Muitos veem os benchmarks do Gemma 7B como aproximadamente equivalentes aos do Mistral 7B; o 2B é visto como mais fraco e superado pelo Phi-2 em vários benchmarks públicos.
- Peculiaridades da arquitetura despertam interesse: vocabulário de 256k tokens, grande expansão de FFN, escolhas de MQA/GQA e design do tokenizer muito relacionado ao do Llama, mas maior e com muitos tokens especiais.
- Alguns argumentam que modelos 7B podem estar perto da saturação, dado os 6T tokens de treinamento do Gemma e apenas ganhos modestos.
Disponibilidade e ferramentas
- Os pesos podem ser baixados (Kaggle, Hugging Face), com JAX oficial, Keras, PyTorch e um engine C++ standalone.
- Há suporte para GGUF e llama.cpp; o Gemma aparece no Ollama e em outras interfaces locais.
- O comprimento de contexto é de 8k tokens. A pergunta sobre versões com contexto estendido ou multimodais é respondida apenas com “fiquem atentos”.
Licenciamento, definição de “open” e uso comercial
- Os pesos são “open”, mas sob termos personalizados, não uma licença OSI. Nenhum código de treinamento ou dataset é liberado.
- O debate gira em torno de chamar isso de “open” versus “pesos disponíveis”, e comparações com as licenças da Meta e da Mistral.
- Os termos incluem uma cláusula de “melhores esforços para atualizar” e uma política ampla de uso proibido; alguns veem isso como um kill switch de fato e evitam o Gemma para uso comercial, preferindo modelos Apache/MIT.
- Outros observam que muitas startups ignoram licenças restritivas na prática.
Segurança, alinhamento e viés
- Checkpoints base (pré-treinados) e alinhados (ajustados por instrução) são ambos liberados; usuários podem fazer fine-tuning para mudar o alinhamento.
- Alguns querem uma caracterização explícita do ajuste ideológico/de segurança; outros argumentam que isso é difícil de definir ou testar.
- Exemplos separados, mas relacionados, de imagens e histórico do Gemini (por exemplo, saídas “diversificadas” racialmente) alimentam o ceticismo de que os modelos do Google possam ser politicamente enviesados ou estar “falseando a história”.
Quantização e comportamento de inferência local
- Quantizações iniciais de 4 bits do Gemma 7B (por exemplo, no Ollama) produziam texto sem sentido; stacks de maior precisão ou diferentes (Transformers 4 bits, NUQ 4.5 bits do gemma.cpp) se comportam melhor, mas são mais lentos.
- Alguns relatam que o Gemma é mais lento que Llama/Mistral e que o fine-tuning pode ser impraticável em GPUs de consumo.
Reações da comunidade e estratégia
- Muitos apreciam o lançamento e o engajamento direto da equipe no HN.
- Outros veem isso como uma ação de PR para promover o ecossistema do Google e corroer os fossos dos modelos fechados, enquanto ainda mantém ativos-chave (dados, stack de treinamento) proprietários.