Modelo Mistral "Mixtral" 8x7B 32k [magnet]
A Mistral lançou discretamente o “Mixtral” 8x7B, um modelo de linguagem Mixture-of-Experts com contexto de 32k distribuído via um link magnet de BitTorrent, gerando entusiasmo por uma grande alternativa de pesos abertos a sistemas proprietários como GPT-4 e Gemini. Comentadores analisam sua arquitetura e configuração, observando que ele se comporta como um modelo de ~12–13B na inferência enquanto reivindica desempenho próximo ao de modelos na classe de 70B, e debatem o quão viável é executá-lo em GPUs de consumo, CPUs e novos hardwares da Apple com quantização agressiva. O lançamento também é visto como um movimento de marketing inteligente e amigável para desenvolvedores, em forte contraste com lançamentos corporativos polidos, porém fechados, e como um possível ponto de inflexão em que modelos abertos executáveis localmente começam a avançar sobre capacidades de LLMs comerciais de ponta.
Lançamento e Distribuição
- O modelo “Mixtral 8x7B 32k” foi lançado via um link magnet de BitTorrent com explicação mínima, e depois espelhado no Hugging Face por membros da comunidade.
- Muitos veem o lançamento em estilo warez com ASCII art como marketing intencional e de alto impacto, especialmente em contraste com lançamentos e demonstrações de IA corporativas e polidas.
- Alguns usuários tiveram problemas com o magnet e compartilharam listas de trackers; outros rapidamente colocaram em pé endpoints de inferência e repositórios experimentais no HF.
Arquitetura e Capacidades
- Mixtral é um modelo Mixture-of-Experts (MoE) com 8 experts de ~7B parâmetros cada, top‑2 experts por token.
- Configuração: 32 camadas, dim 4096, hidden_dim 14336 (≈3.5× expansão do MLP), 32 heads com 8 KV heads (estilo multi-query), vocab 32k, contexto alegado de 32k (mas o Mistral anterior usava janelas deslizantes e na prática se comportava mais como 8k).
- A attention (
2B parâmetros) é compartilhada; os “experts” do FFN (5B cada) variam por expert.
Requisitos de Hardware e Comportamento em Execução
- Pesos brutos ~86–96 GB; em quantização de 4 bits, as pessoas esperam que caiba em ~24 GB de VRAM, semelhante a grandes modelos densos de 30–40B.
- Como apenas 2 experts ficam ativos por token, o custo efetivo de computação é aproximadamente o de um modelo denso de 12–13B por token, embora todos os experts precisem estar residentes em memória rápida para boa velocidade.
- Há debate sobre se troca/cache inteligente de experts entre CPU e GPU ou tmpfs é prático; alguns dizem que ficará limitado pelo PCIe, outros estão otimistas.
- Usuários esperam que ele rode em Macs com muita RAM (até 128–192 GB) e em GPUs únicas de 24 GB com quantização; também aparecem alegações sobre configurações experimentais com 4 GB de VRAM.
Discussão sobre Roteamento MoE
- Várias explicações esclarecem que uma pequena rede “router” escolhe 2 experts por token, e a escolha pode mudar a cada token.
- Isso enfraquece esperanças ingênuas de carregar apenas um subconjunto de experts; o desempenho interativo provavelmente exige todos os experts em RAM/VRAM.
Comparações, Benchmarks e Fine-Tuning
- Muitos esperam que o Mixtral 8x7B se aproxime ou supere modelos densos open de 40B–70B; alguns afirmam que ele faz benchmark acima do Llama-2 70B, mas outros alertam para overfitting em benchmarks.
- Discussão sobre novos fine-tunes de “neural alignment” em Mistral/Yi que lideram os rankings do Hugging Face; participantes debatem o quão significativos esses rankings são.
- Vários comentários elogiam o Mistral 7B (e seus finetunes) como próximo do nível do GPT-3.5 para muitas tarefas, e veem o Mixtral como um passo importante para modelos de pesos abertos.
Modelo de Negócio e Estratégia
- Alguns especulam que a estratégia da Mistral é construir reputação com lançamentos fortes de pesos abertos e depois monetizar via hospedagem, fine-tuning e suporte.
- Outros contrastam essa abordagem aberta com modelos geobloqueados ou fechados de grandes empresas dos EUA e com pesos não lançados como o Gemini do Google.