Mistral: Nossos primeiros endpoints de IA estão disponíveis em acesso antecipado
Os endpoints de API em acesso antecipado da Mistral AI, incluindo o modelo fechado “mistral-medium” e variantes menores com pesos abertos, estão atraindo atenção por pontuações de benchmark que supostamente superam o GPT‑3.5 e por preços competitivos em relação à OpenAI e Anthropic. Os comentaristas avaliam o valor de pagar por um serviço hospedado quando modelos abertos fortes podem ser implantados por conta própria, citando confiabilidade, portabilidade e proteção contra lock-in de fornecedor como razões importantes para ainda usar APIs de terceiros. Também há um debate ativo sobre desempenho no mundo real versus benchmarks, custos de hardware e energia para inferência em grande escala, limitações de janela de contexto e como a regulação da UE e as isenções para código aberto podem moldar a posição de longo prazo da Mistral.
Linha de modelos e capacidades
- Novos endpoints: Mistral-tiny (Mistral 7B Instruct v0.2), Mistral-small (pesos abertos), Mistral-medium (fechado, protótipo), além de um modelo de embeddings.
- Afirma-se que o Mistral-medium supera o GPT‑3.5 e até se aproxima do GPT‑4 em alguns benchmarks (por exemplo, Winogrande), e supera significativamente o Gemini Pro; alguns veem isso como “extremamente impressionante” se se mantiver no uso real.
- Outros alertam que benchmarks são fáceis de manipular, não são comparações equivalentes, e que o desempenho no mundo real e as versões públicas ajustadas para segurança podem ser diferentes.
- O Mixtral 8x7B MoE é destacado por apresentar desempenho próximo ao de modelos dense de 70B com um custo de inferência de cerca de 14B; alguns relatam que ele se sai muito bem em tarefas práticas.
Preço e viabilidade econômica
- Os preços publicados por 1M de tokens de saída colocam o Mistral-medium ligeiramente acima do GPT‑3.5 e muito abaixo do GPT‑4; alguns concluem que a Mistral acredita que ele é claramente melhor que o GPT‑3.5.
- Outros argumentam que o GPT‑3.5 é subsidiado, ou que o preço de acesso antecipado pode não refletir a realidade final.
- Há debate sobre se modelos mais baratos, mas um pouco piores, podem vencer a OpenAI, e sobre o quanto confiabilidade e abertura importam em comparação com a qualidade bruta.
Código aberto vs APIs hospedadas
- Os modelos com pesos abertos da Mistral são vistos como uma grande vantagem estratégica: os usuários podem começar com APIs hospedadas e depois auto-hospedar ou trocar de provedor, reduzindo o lock-in de fornecedor e o risco de “rug-pull”.
- Alguns argumentam que, se os modelos forem abertos, muitos provedores podem hospedá-los barato, erodindo as margens da API da Mistral.
- Modelos abertos também são vistos como um seguro contra desativações de modelos e mudanças de comportamento.
Janela de contexto e arquitetura
- A janela de contexto de 32k do Mixtral com atenção de janela deslizante gera reações mistas.
- Um lado relata que, para tarefas que exigem recordação textual precisa (reuso de código, documentos de negócios), modelos com janela deslizante efetivamente se comportam como se tivessem cerca de 8k de contexto e falham; eles funcionam melhor para raciocínio em nível de resumo.
- Outros observam que os estados ocultos retêm informação e discordam que isso seja tão limitante; o impacto é descrito como “incerto” e dependente do caso de uso.
Hardware, energia e inferência local
- Vários comentários estimam energia e custo por milhão de tokens em GPUs (4090 vs A100/H100), com batching e preços de energia de data center afetando significativamente a economia.
- Há especulação sobre executar modelos MoE localmente (até em celulares) por meio de compressão/quantização, com divergências sobre a viabilidade devido à latência e ao consumo de energia.
Ecossistema, regulação e competição
- Muitos veem a Mistral como um player pequeno surpreendentemente forte e uma ameaça séria aos incumbentes em casos de uso que não exigem GPT‑4.
- Alguns temem que a regulação europeia de IA e o fato de estar sediada na Europa possam ser uma desvantagem de longo prazo; outros argumentam que exceções para modelos abertos e “construir para a regulação” podem virar vantagem.
- A confusão estratégica percebida do Google em IA e monetização de busca é contrastada com a execução focada da Mistral, embora alguns alertem contra descartar o Google.