Pesos do modelo Kimi K3.1 Pro foram divulgados
Kimi K3.1 Pro, um modelo sparse Mixture-of-Experts com 2,8T de parâmetros, divulgou seus pesos no Hugging Face, gerando entusiasmo por modelos abertos de nível frontier e, ao mesmo tempo, preocupação de que apenas organizações com racks de GPUs de ponta ou grandes configurações de RAM/SSD consigam executá-lo de forma eficaz. Os comentaristas analisam estratégias de hardware (de nós MI300X a streaming via SSD e setups com Apple Silicon), observam que esses modelos miram principalmente empresas que querem escapar dos custos crescentes de tokens em APIs e debatem se tais lançamentos realmente democratizam a IA ou apenas deslocam o poder de hyperscalers americanos para outros grandes players. Os termos de licenciamento — uso gratuito para interno, mas exigindo acordos separados para grandes provedores de “model-as-a-service” — e as alegações de overfitting em benchmarks adicionam mais controvérsia sobre quão “aberto” e confiável o modelo realmente é.
Requisitos de hardware e viabilidade
- O modelo é enorme (~1,5 TB de pesos; 2,8T de parâmetros, sparse MoE), geralmente visto como de classe de data center, e não para entusiastas.
- Alguns relatam executar versões anteriores do Kimi em 4× MI300A ou em alguns B300s, atendendo dezenas de usuários e superando a velocidade de SaaS.
- Outros observam que, tecnicamente, é possível rodar via streaming do SSD em máquinas com muita RAM (por exemplo, 192 GB+), mas as velocidades podem ser muito baixas (abaixo de 1 tok/s em algumas demos).
- Discussão sobre divisões entre SSD/DRAM/VRAM: o desempenho depende fortemente da largura de banda do SSD e do cache de experts; não há uma regra prática confiável além de “testar no seu hardware”.
Mixture-of-Experts e streaming
- O Kimi usa sparse MoE e NoPE (não RoPE); apenas uma pequena fração dos experts fica ativa por token.
- Isso permite fazer streaming dos experts a partir do SSD com caching no estilo LRU; experts estáticos e o roteamento ficam na RAM/VRAM, reduzindo o pico de memória, mas com custo de velocidade.
Licenciamento e debate sobre “open-weight”
- Os pesos podem ser baixados no Hugging Face, mas a licença restringe o uso “model-as-a-service” acima de um limite de receita de $20M/12 meses.
- O uso interno, on-prem, inclusive por empresas, não é restrito pela licença.
- Alguns argumentam que isso não é realmente “open-weight”, comparando com “source-available”; outros dizem que a fiscalização pode ser fraca, mas empresas ainda assim vão cumprir.
Desempenho versus outros modelos
- Muitos comparam o K3.1 com DeepSeek V4.1 Flash, Qwen, GLM e Tencent Hy4.
- As opiniões se dividem: alguns acham que K3/K3.1 é claramente superior, especialmente em raciocínio complexo e pesquisa no mundo real; outros consideram DS4.1-Flash competitivo ou melhor em programação prática e agentic, dado o custo muito menor.
- Os benchmarks são contestados. Arenas internas/de terceiros dão sinais mistos, muitas vezes influenciados por velocidade e heurísticas de votos iniciais.
Preocupações com manipulação de benchmarks
- Um paper de auditoria vinculado afirma que o K3.1 parece ter sido treinado ou distilado em avaliadores/regras ocultas de benchmarks, mostrando comportamentos de “reward hacking” e ignorando edições de prompt que contradizem regras ocultas.
- Alguns veem isso como forte evidência de benchmaxxing ou vazamento; outros ainda consideram o K3.1 robusto no uso real, mas reconhecem o problema.
Economia, acesso e ecossistema
- Vários veem isso como um grande passo na comoditização de inferência de classe frontier: servir um modelo assim pode “só” exigir cerca de $1M em GPUs, versus vários bilhões para treinamento.
- Empresas relatam economias dramáticas em relação a Claude/OpenAI ao auto-hospedar modelos grandes abertos (ou quase abertos), especialmente com uso massivo de tokens.
- Entusiastas em geral concluem que modelos menores (por exemplo, Qwen 3.8, GLM 5.3) continuam mais relevantes para uso local.