Kimi Linear: Uma Arquitetura de Atenção Expressiva e Eficiente (2025)

Artigo original ↗ Discussão no Hacker News ↗

O Kimi Linear apresenta uma arquitetura de atenção open-source e mais eficiente que sustenta o novo modelo Kimi K3 da Moonshot, que acrescenta melhorias em larga escala como Stable LatentMoE, visão nativa e reinforcement learning extensivo. Comentadores destacam a rápida polinização cruzada entre arquiteturas como DeltaNet, Mamba e designs parecidos com RNN, e observam que muita da “inteligência” em modelos de fronteira parece emergir do simples aumento de escala e de objetivos de treino bem escolhidos, e não de uma única ideia revolucionária. Além do elogio técnico, há um debate acalorado sobre distillation de modelos, propriedade intelectual e normas regulatórias e de censura diferentes entre laboratórios de IA chineses e ocidentais.

Relação entre Kimi K3 e Kimi Linear

  • O Kimi K3 é descrito como fortemente baseado no Kimi Linear, ampliando-o e adicionando visão, melhorias de RL e Stable LatentMoE.
  • O K3 usa camadas de “Kimi Delta Attention”, mas a variante específica de KDA difere da do Kimi Linear; essas diferenças são ditas como detalhadas no relatório técnico do K3.
  • Alguns observam que o artigo do Kimi Linear é do ano anterior e que muitas contribuições em modelos desse tipo são feitas muito antes dos lançamentos de produto.

Evolução da Arquitetura (DeltaNet, Gated DeltaNet, linhagem RNN)

  • Comentadores veem o Kimi Linear e trabalhos relacionados (DeltaNet, Gated DeltaNet, modelos parecidos com Mamba) como descendentes de RNNs/LSTMs, reformulando a atenção como atualizações recorrentes.
  • O Gated DeltaNet 2 é relatado como superando o Kimi Linear em testes internos, com o Kimi Linear enquadrado como um passo anterior nessa progressão.
  • Há apreço pela rapidez com que empresas iteram e integram as ideias arquiteturais umas das outras.

Stable LatentMoE e Estratégia de Treinamento

  • A principal inovação atribuída ao K3 é o Stable LatentMoE: compactar dados entre camadas com uma estratégia de roteamento de especialistas mais equilibrada.
  • O thread observa que a maior parte do progresso recente vem do RL em fase final de treinamento: múltiplos modelos especialistas, ferramentas em sandbox, dados de preferência humana e traces de agentes.

Distillation, PI e Ética

  • Grande parte da discussão debate “ataques de distillation”: treinar um modelo com as saídas de outro modelo.
  • Um lado: isso é enquadrado como um “ataque” e como free-riding injusto sobre treinamento caro e licenças pagas de dados; especialmente sensível em um contexto de competitividade China-Ocidente.
  • Outro lado: argumenta que isso é análogo a como os LLMs já treinam com dados produzidos por humanos (muitas vezes não pagos); vê hipocrisia em exigir proteção de PI para modelos, mas não para os dados humanos subjacentes.
  • Vários questionam a linguagem de “ataque”, sugerindo termos neutros como “variantes distilladas” e vendo violações de ToS como questões civis, não criminais.

Censura e Guardrails do Modelo

  • Alguns usuários afirmam que modelos chineses são menos censurados, especialmente quando self-hosted; outros apontam exemplos de hesitação política ou restrições no nível da API.
  • A visão geral: a maior parte da “censura” parece ser aplicada nas camadas de API/serviço, e não nos pesos do modelo base.

Escala, Capacidades Emergentes e Teoria

  • Vários comentários relacionam a “inteligência” de modelos de fronteira a leis de escala e à “Bitter Lesson”: aprendizado de propósito geral com mais compute supera algoritmos feitos à mão.
  • Capacidades emergentes (por exemplo, raciocínio complexo, chain-of-thought) são discutidas como:
    • Surgindo quando os modelos ganham capacidade suficiente para representar circuitos internos mais ricos.
    • Refletindo “entropia excedente” decrescente com escala e dados (“slingshot generalization”).
    • Parecendo súbitas em benchmarks específicos, mas baseadas em melhorias graduais em capacidades genéricas.
  • Alguns comparam isso à aproximação de funções, grokking, gradient descent e métodos de busca/ascensão de encosta.

Segurança e Desvio sobre HTTPS

  • Pequena digressão sobre acessar um ensaio influente via HTTP versus HTTPS.
  • Um lado minimiza o risco para texto estático; outro enfatiza ameaças de MITM/injeção de scripts mesmo para páginas aparentemente simples.

Open-Sourcing e Impacto no Ecossistema

  • O open-sourcing dos kernels do Kimi Linear, a integração com vLLM e os checkpoints é elogiado como “awesome” e incomumente detalhado em comparação com as comunicações de alguns laboratórios ocidentais.
  • Especula-se que arquiteturas não padrão (atenção linear, modelos parecidos com RNN) ganhando tração podem desafiar stacks de hardware e compiladores otimizados para transformers padrão; implicações para fornecedores de hardware especializado são levantadas, mas não resolvidas.

Perguntas em Aberto e Pontos Incertos

  • Uma pergunta direta sobre como o Kimi Linear se sai em recuperação de longo contexto (needle-in-haystack, testes ruler) versus atenção completa permanece sem პასუხa.
  • A contribuição quantitativa exata de distillation versus dados novos/arquitetura para o desempenho dos modelos chineses é reconhecida como अस्पष्ट.