CEO da Mistral confirma ‘vazamento’ de novo modelo de IA open source perto do desempenho do GPT-4

Artigo original ↗ Discussão no Hacker News ↗

Um modelo de linguagem grande “miqu-1-70b” vazado, associado à startup francesa Mistral AI, está chamando atenção por supostamente se aproximar do desempenho do GPT-4 enquanto é distribuído em formato quantizado, adequado para uso local. Comentadores debatem se o vazamento é uma ação deliberada de PR, o quanto ele realmente se aproxima do GPT-4 em tarefas do mundo real e o que “open source” deve significar para modelos de IA quando apenas os weights — e não os dados de treinamento — são liberados. O incidente também alimenta comparações mais amplas entre Mistral e OpenAI em custo, guardrails, estabilidade de desempenho e ritmo de progresso em modelos proprietários versus open-weight.

Natureza do “vazamento” e questões de marketing

  • Um modelo quantizado e com marca d’água de 70B (“miqu-1-70b”) apareceu no Hugging Face; o CEO disse que era um modelo mais antigo, baseado em Llama-2, que havia sido entregue a clientes de acesso antecipado.
  • Alguns veem isso como um vazamento de um “funcionário excessivamente entusiasmado”; outros acham que parece uma PR deliberada e engenhosa.
  • A Mistral não forçou remoções; em vez disso, deixou uma nota discreta, o que muitos interpretam como uma postura confiante e amigável para desenvolvedores.

Capacidade do modelo e comparação com GPT‑4 / GPT‑3.5

  • Usuários que executam Mixtral e derivados localmente relatam:
    • Em muitas tarefas de programação e discussão, a qualidade parece próxima da do GPT‑4, mas com mais alucinações e menos autocorreção.
    • Outro praticante avalia modelos no estilo Mixtral como ~5% nível GPT‑4, ~75% no mesmo patamar do GPT‑3.5, ~20% piores (falam demais, alucinam).
  • O Mistral Medium via API é frequentemente descrito como comparável ao GPT‑3.5; alguns dizem “entre 3.5‑turbo e 4‑turbo”.
  • “Perto do GPT‑4” é visto por alguns como hype; outros enfatizam a importância de chegar perto com modelos muito menores, mais baratos e muitas vezes de uma única GPU.

Guardrails, “nerfing” e preferência por modelos abertos

  • Vários comentários reclamam que os modelos da OpenAI ficaram menos úteis devido a guardrails mais rígidos de segurança e responsabilidade (especialmente para ajuda jurídica/contratual e tarefas maiores), às vezes fazendo trabalho parcial ou dizendo aos usuários para consultar especialistas.
  • A API da Mistral é elogiada por permitir que os guardrails sejam desativados e por parecer mais “adulta” e menos paternalista.
  • Alguns estão migrando o uso para modelos locais/abertos por privacidade, estabilidade e para evitar mudanças de política.

Open source vs “open weights” e questões legais/IP

  • Há debate sobre se esse vazamento é realmente “open source” ou apenas “open weights”.
  • Alguns argumentam que open source em IA deveria significar uso livre, modificação e inspeção dos weights, mesmo sem os dados de treinamento.
  • Outros enfatizam que muitas licenças de LLM (por exemplo, com restrições de campo de uso) não são “abertas” no sentido tradicional de software livre.
  • Há um longo debate jurídico sobre se os pesos do modelo podem ser protegidos por copyright, por leis de proteção de banco de dados ou como segredo comercial; reconhece-se que o desfecho é incerto.

Detalhes de watermarking e quantização

  • São discutidas ideias de watermarking: perturbações nos pesos, tokens especiais de “shibboleth” e padrões estatísticos de saída.
  • A quantização é esclarecida como a redução da precisão numérica dos pesos, não a substituição de “sequências numéricas”.
  • O vazamento veio em quantizações GGUF (Q2/Q4/Q5); convenientes para uso local, mas vistos por alguns como subótimos para produção de alto throughput.

Benchmarks, leaderboards e viés de avaliação

  • São citados leaderboards do HuggingFace/LMSys; alguns notam uma diferença entre o GPT‑4 “clássico” e o GPT‑4‑Turbo.
  • Outros argumentam que leaderboards são ruidosos, sofrem de viés de amostragem (consultas de devs/centradas em inglês) e correm o risco da Lei de Goodhart; capacidades reais (por exemplo, escrita criativa, idiomas de nicho, usos de longo contexto) podem estar sendo submedidas.