Execute o Qwen 3.8 Flash Next (125B) em hardware de consumidor (RTX 4090) a 100T/s

Artigo original ↗ Discussão no Hacker News ↗

Executar o Qwen 3.8 Flash Next (um modelo MoE de 125B parâmetros) em GPUs de consumo com o mecanismo de inferência Strata está rendendo a usuários 50–120+ tokens por segundo, levando alguns a dizer que ele rivaliza ou substitui modelos em nuvem como Claude Opus para codificação do dia a dia e trabalho agentivo. Grande parte do debate gira em torno de quantização agressiva de baixo bit (Q2–Q3): entusiastas relatam pouca perda de qualidade em comparação com o Qwen 3.8 27B e até desempenho no nível do Opus-4.7, enquanto céticos destacam degradação em tarefas mais difíceis, precisão em visão e confiabilidade em horizontes longos. No geral, o projeto é visto como um grande passo para tornar LLMs locais de alto nível práticos em hardware de cerca de US$1,5–3 mil, embora ainda haja dúvidas sobre precisão, concorrência e até onde a quantização abaixo de 4 bits pode avançar.

Resultados de Desempenho e Hardware

  • Vários usuários relatam 100–125 tok/s em RTX 4090 com o Qwen 3.8 Flash Next usando Strata, mesmo com contextos grandes (até 262k+).
  • Configurações mais antigas/menos potentes ainda veem velocidades utilizáveis: ~30 tok/s em 3080 10GB, ~40–60 tok/s em 3090, ~60 tok/s em um R9700 com muita RAM do sistema, ~7 tok/s apenas em CPU, mas útil para execuções longas durante a noite.
  • Silicon da Apple (M1/M5 Max, 64–128GB) executa quants de 3 bits a 20–70 tok/s, mas a largura de banda da CPU e os limites de RAM podem criar gargalos no prefill.
  • Alguns relatam quants de 4 bits do Flash Next via outros motores (por exemplo, ds4) alcançando mais de 200 tok/s de decode em GPUs de estação de trabalho de ponta.

Quantização e Variantes do Modelo

  • A discussão do tópico se concentra bastante em quants de baixo bit:
    • Q2: amplamente visto como degradado demais para trabalho sério, mas alguns afirmam que modelos maiores e boa calibração podem tornar Q2 utilizável para tarefas mais restritas.
    • IQ3_XXS / IQ3_S: citados repetidamente como um “ponto ideal”, com um benchmark alegando ficar dentro de ~1 ponto do modelo sem quantização, às vezes até um pouco melhor em algumas tarefas.
    • Q4: muitos consideram esse o piso prático se você quiser “reter a maior parte da função”.
  • A variante “Coder” remove metade dos experts e atinge ~91% do SWE-Bench Verified completo, mas vários usuários sentem que ela é visivelmente pior do que o modelo Flash Next completo.

Qualidade vs 27B e Modelos em Nuvem

  • Muitos relatam que o Flash Next (mesmo em 3 bits) supera claramente o Qwen 3.8 27B para codificação e tarefas gerais, além de ser mais rápido por token.
  • Outros dizem que o 27B em maior precisão (por exemplo, Q6, FP8/NVFP4) parece mais preciso ou mais estável, especialmente em contextos muito longos.
  • Alguns usuários comparam o Flash Next (quants IQ3) como aproximadamente equivalente a modelos de nuvem de fronteira anteriores (várias versões de Opus/Sonnet) em benchmarks de codificação como o DeepSWE; outros permanecem céticos e preferem a nuvem pela confiabilidade.

Mecanismos de Inferência e Detalhes de Implementação

  • O cache/offload de experts MoE do Strata é a principal novidade: ele mantém cerca de 6B parâmetros ativos por token enquanto pagina experts entre VRAM e RAM.
  • Usuários comparam Strata com llama.cpp, ds4, ninfer, sglang e FreeToken; o Strata frequentemente vence em velocidade para o Flash Next, mas pode ser pior em algumas tarefas (notavelmente um benchmark de visão em que o llama.cpp superou significativamente o Strata com os mesmos pesos).
  • Concorrência: relatos iniciais de mau comportamento em paralelo são corrigidos; o Strata oferece suporte a uma configuração “parallel” e agora troca contextos para a RAM.

Limitações, Ceticismo e Perguntas em Aberto

  • Vários comentaristas desconfiam de quants abaixo de 4 bits e apontam que muitos demos de “100 tok/s em GPU de consumidor” omitem métricas de precisão.
  • A qualidade de visão sob Strata é relatada especificamente como muito pior do que no llama.cpp em um teste de predição de coordenadas.
  • Alguns usuários veem alucinações ou problemas de tool-calling em bitrates baixos ou com MTP agressivo; outros relatam não ter esses problemas e enfatizam a sensibilidade à configuração.
  • Há debate sobre se o Flash Next Q2/Q3 é realmente melhor do que um 27B denso bem quantizado, especialmente em hardware limitado.

Temas Mais Amplos

  • Forte entusiasmo de que desempenho local “tipo Opus” agora é alcançável em configurações de consumo de ~$1,5–3k, embora ainda não para todos.
  • Preocupações com custo de hardware, estagnação de VRAM/RAM e hype de quantização; alguns esperam ganhos adicionais de eficiência que possam superar a atual expansão de datacenters.
  • A discussão toca em segurança (instaladores curl|bash, agentes locais) e censura/cobertura de tópicos politicamente sensíveis, com exemplos de que os modelos Qwen ainda podem lembrar alguns eventos históricos sensíveis quando não censurados.