Cognition lança novo modelo SWE-2, rivalizando com Fable 5.1 e GPT-Astra
O novo modelo de programação SWE-2 da Cognition, construído por meio de post-training em Kimi K3, está sendo comercializado como rival de modelos de ponta como GPT-Astra e Fable 5.1, mas muitos engenheiros questionam se suas pontuações de destaque vêm de capacidade genuína ou de “benchmaxxing” em benchmarks antigos e saturados. Comentaristas apontam sua queda acentuada no mais novo Terminal Bench 4 e seus pesos fechados, argumentando que modelos abertos como o DeepSeek V4.1 Flash oferecem melhor relação custo-desempenho e mais controle. Outros observam que o SWE-1.x já era bastante utilizável, veem valor na Cognition operar sua própria pilha ajustada para reduzir a dependência da OpenAI/Anthropic, mas estão frustrados porque o SWE-2 está fortemente atrelado às ferramentas Devin da Cognition em vez de APIs padrão ou distribuição aberta.
Benchmarks, “Benchmaxxing” e Generalização
- Muitos comentaristas questionam o benchmark FrontierCode, publicado pela própria Cognition, observando que ele é interno, não reproduzível e posiciona o SWE‑2 como “rivalizando com Astra/Fable”.
- A diferença entre Terminal Bench 2.1 (≈93%) e Terminal Bench 4 (≈27%) é citada repetidamente como um sinal de alerta de overfitting/“benchmaxxing” e de fraca generalização para novos problemas.
- Outros apontam que modelos de ponta como Sol e GLM também caem drasticamente de TB2.1 para TB4, argumentando que isso é um problema de todo o ecossistema e que o TB4 ainda não está saturado.
- Alguns veem benchmarks de programação cada vez mais como números de marketing com baixo sinal; eles defendem criar cargas de trabalho personalizadas em vez disso.
Origem do Modelo, Treinamento e Capacidades
- O SWE‑2 é descrito como “post-trained a partir do Kimi K3”, o que leva à discussão sobre post-training vs. distillation vs. fine-tuning, e sobre quanto de capacidade extra RL/post-training pode acrescentar.
- Há debate sobre se um modelo com cerca de 2,8T de parâmetros pode realisticamente igualar modelos da classe de 10T; alguns são céticos de que o RL sozinho possa fechar essa lacuna.
Acesso, Integração do Produto e Lock-in
- O SWE‑2 está atualmente acessível principalmente pelo ecossistema Devin da Cognition (CLI, desktop/cloud), e não por APIs padrão ou agregadores como o OpenRouter.
- Alguns usuários não gostam de precisar de uma CLI/harness específica só para testar o modelo de um laboratório e pedem uma API simples no estilo chat/completions.
- Há confusão sobre preços: afirmações de que o SWE‑2 é gratuito por um mês via CLI, com desconto na nuvem e gratuito no dispositivo, mas alguns usuários relatam terem sido cobrados.
Pesos Abertos vs. Fechados e Modelos Base Chineses
- Vários comentaristas perguntam se o SWE‑2 tem pesos abertos; expressam decepção se for fechado, especialmente em comparação com o DeepSeek V4.1 Flash e outros modelos chineses abertos.
- A discussão observa que muitas startups dos EUA agora estão fazendo post-training ou empacotando fortes modelos chineses abertos (Kimi, GLM, etc.) em vez de treinar do zero.
Experiência com o Produto Devin/Windsurf
- As experiências com Devin/Windsurf são mistas: alguns usuários corporativos e individuais o consideram útil como agente de programação, especialmente com modelos de ponta integrados.
- Outros relatam sérios problemas de UX e confiabilidade com a CLI/harness de desktop, falta de recursos essenciais e demos anteriores superestimadas, o que leva à desconfiança.
Contexto Econômico e Competitivo
- Comentaristas veem o SWE‑2 em parte como uma forma de a Cognition reduzir a dependência das APIs da OpenAI/Anthropic.
- Há um debate mais amplo sobre trade-offs de custo-desempenho, com muitos elogiando o DeepSeek 4.1 Flash como uma alternativa forte e barata e prevendo pressão sobre os preços dos laboratórios fechados.