Mixtral 8x7B: um modelo de linguagem sparse Mixture of Experts

Artigo original ↗ Discussão no Hacker News ↗

Um modelo de linguagem com pesos abertos chamado Mixtral 8x7B está chamando atenção por usar uma arquitetura sparse Mixture of Experts para igualar ou superar GPT-3.5 e Llama 2 70B em muitas tarefas, ativando apenas uma fração de seus 47 bilhões de parâmetros na inferência. Os comentaristas destacam seu impacto prático: ele pode rodar localmente em GPUs de alto desempenho para consumo e em Macs com Apple Silicon com quantização, permitindo experimentação por hobby, possíveis personagens de IA em jogos e assistentes offline, embora VRAM e custo de hardware continuem sendo limitações. O lançamento também provoca debate sobre a opacidade dos detalhes de treinamento em papers modernos de LLMs, o quão bem esses modelos lidam com matemática, o valor real de benchmarks informais e quando podem surgir modelos abertos mais poderosos ou multimodais.

Momento do lançamento e do paper

  • Os pesos do modelo (Mixtral 8x7B) foram disponibilizados via torrent em dez. de 2023; o paper formal saiu depois.
  • Este tópico foca nos detalhes do paper e em como eles correspondem à experiência da comunidade com os pesos já lançados.

Arquitetura e capacidades

  • Mixtral é um sparse Mixture of Experts: cada camada tem 8 “especialistas”, e um roteador envia cada token para 2 deles.
  • O uso efetivo na inferência é de ~13B dos 47B parâmetros; ainda assim, todos os especialistas precisam ser carregados na memória.
  • Há relatos de que supera Llama 2 70B e GPT-3.5 em benchmarks de matemática, programação e multilinguismo; algumas variantes ajustadas supostamente rivalizam com Gemini Pro.
  • Vários comentaristas dizem que é o primeiro modelo local que usam seriamente em vez de GPT-3.5.

Hardware, quantização e uso local

  • Pode rodar em RTX 3090 / 4090 e em Apple Silicon recente (M1/M2/M3) com RAM suficiente, usando quantização de 3–5 bits.
  • Relatos: ~50 t/s em uma 3090 com 3 bits; ~30 t/s em um M1 Max com Q4; só com CPU é possível, mas lento.
  • Há debate sobre quão “de nível consumidor” esse hardware é: alguns veem 3090/Macs com muita RAM como nicho e caros; outros argumentam que GPUs usadas com muita VRAM são acessíveis para entusiastas.
  • O contexto de 32k é anunciado, mas pelo menos um usuário relata dificuldade em alcançar contextos grandes com VRAM limitada.

Aplicações: jogos e agentes

  • Alguns veem potencial de curto prazo para diálogos de NPCs em jogos ou jogos de estratégia com líderes guiados por LLM, localmente ou via assinaturas.
  • Outros argumentam que a maioria dos jogadores não tem o hardware; veem isso como “anos de distância” para adoção em massa.
  • Técnicas como saída estruturada (“grammars”) são destacadas para construir agentes e sistemas parecidos com jogos.

Matemática e uso de ferramentas

  • Debate sobre se modelos de próximo token podem algum dia ser realmente confiáveis em aritmética.
  • Um lado: matemática é intrinsecamente difícil para LLMs; ferramentas/execução de programas sempre serão necessárias.
  • Outro lado: com mais escala e melhor treinamento, a aritmética pode emergir de um melhor modelamento do mundo e compressão.
  • Frameworks com uso de ferramentas (calculadoras, execução de código) são mencionados como soluções práticas.

Comportamento dos especialistas do MoE e interpretabilidade

  • Uma figura no paper mostra nenhum padrão óbvio de roteamento por tópico; “especialistas” são emergentes, não definidos por humanos.
  • Alguns questionam se os ganhos vêm da própria estrutura MoE, e não de especialistas claramente especializados.
  • O procedimento exato de treinamento e os datasets para especialistas e roteador são vistos como pouco documentados.

Multimodal e modelos futuros

  • Há interesse em modelos multimodais abertos; os existentes (LLaVA, CogVLM, trabalho multimodal da Meta) são citados, mas muitos são não comerciais ou limitados.
  • Alguns esperam modelos abertos fortes, comparáveis ao ChatGPT/GPT-4, embora outros observem que nem todos os futuros modelos da Mistral podem ser totalmente open-weight.

Benchmarks e qualidade do paper

  • Benchmarks informais da comunidade são usados para posicionar o Mixtral muito bem, mas alguns os criticam por não serem rigorosos nem reproduzíveis.
  • Há uma preocupação mais ampla de que a avaliação de LLMs é fragmentada e fácil de manipular.
  • Vários comentaristas consideram o paper em si fraco em detalhes de treinamento e datasets, vendo isso como parte de uma tendência maior em que empresas escondem especificações importantes de treinamento.

Como rodá-lo

  • Ferramentas comuns mencionadas: ollama, llama.cpp, llamafile, LM Studio, GPT4All (suporte parcial), exemplos MLX.
  • Vários trechos passo a passo mostram que um único binário (llamafile) ou comandos simples ollama pull mixtral bastam para testar o modelo localmente, desde que haja RAM/VRAM suficientes.