Qwen 3.6 27B é o ponto ideal para desenvolvimento local

Artigo original ↗ Discussão no Hacker News ↗

Qualidade do modelo e casos de uso

  • Muitos usuários consideram o Qwen 3.6 27B o primeiro modelo “local” que parece genuinamente forte para programação, planejamento e raciocínio geral, especialmente em comparação com variantes mais antigas do Llama.
  • O 27B denso é amplamente visto como o ponto ideal: melhor qualidade do que o Qwen 3.6 35B-A3B (MoE), que é mais rápido, mas “mais burro” e mais propenso a entrar em loops.
  • Alguns argumentam que o Gemma 4 31B QAT é mais forte do que o Qwen 3.6 em cenários quantizados de 24GB, especialmente para raciocínio e trabalho em C/C++; outros ainda preferem o Qwen para codificação agentiva.
  • Modelos menores (Qwen 3.5/3.6 9B, Gemma 4 12B, Ornith 9B) funcionam bem para documentação, design, limpeza e tarefas de “segundo par de olhos”, mas têm dificuldade com programação complexa e fluxos de trabalho agentivos.
  • Modelos especializados (Qwen3-coder, AgentWorld, DeepSeek v4 Flash, GLM 5.2, Minimax) são citados como melhores para ferramentas/agentes ou trabalho de nível de fronteira, mas muitas vezes pesados demais para rigs locais típicos.

Requisitos de hardware e desempenho

  • O Qwen 3.6 27B pode rodar:
    • Em GPUs de 24–32GB de VRAM (3090, 4090, 5090, 7900 XTX, R9700) com quantizações de 4–6 bits e contexto utilizável; ~40–100 tok/s relatados.
    • Em Apple Silicon de 48–128GB (M1–M5), muitas vezes totalmente na RAM unificada em 4-bit; velocidades de ~10–40 tok/s denso, muito maiores para o 35B MoE.
  • Laptops da série M conseguem rodar esses modelos, mas ficam quentes e barulhentos; vários recomendam usar um Mac Mini/Studio ou outra máquina sem monitor como servidor.
  • Strix Halo e caixas DGX/RTX Spark oferecem grande RAM com largura de banda moderada; mais adequadas para MoE e contexto longo do que para modelos densos em comparação com GPUs de ponta.
  • Largura de banda e configurações de KV-cache (por exemplo, fp16 versus KV quantizado) afetam fortemente a qualidade e a velocidade em contexto longo. Abaixo de Q4 ou com KV fortemente quantizado, o desempenho frequentemente se degrada.

Economia local versus nuvem

  • Há forte discordância:
    • Um lado diz que MacBooks de 128GB por US$ 6–7 mil ou rigs com múltiplas GPUs são irracionais em comparação com acesso barato por API (por exemplo, DeepSeek v4 Flash, Qwen via OpenRouter), especialmente considerando depreciação do hardware e custos de energia.
    • Outro lado argumenta que o local é mais barato no longo prazo para usuários pesados, evita ansiedade com tokens, funciona offline e se paga rapidamente em relação aos salários de desenvolvedor.
  • Alguns sugerem esperar 1–2 anos para que os preços de RAM/GPU se normalizem; outros acham que modelos abertos e melhor quantização farão com que o hardware de hoje continue útil por anos.

Fluxos de trabalho e ferramentas para desenvolvedores

  • Stacks populares: llama.cpp (GGUF), MLX/oMLX no Mac, LM Studio, Unsloth Studio; o Ollama é criticado por razões técnicas e de licenciamento/lock-in.
  • Harnesses de programação como Pi, OpenCode, Hermes e frameworks agentivos personalizados são centrais; o sucesso muitas vezes depende mais do harness, do planejamento e do gerenciamento de contexto do que apenas do modelo base.
  • Os usuários enfatizam: dê escopos explícitos, aponte os modelos para arquivos específicos, use planos/subagentes/compactação; não espere refatorações autônomas em todo o repositório.

Ceticismo, limitações e conflitos

  • Vários comentaristas dizem que os modelos locais “são ruins” para desenvolvimento sério, especialmente em bases de código grandes ou não padronizadas; eles voltam para modelos em nuvem como Claude ou DeepSeek.
  • Outros relatam entregar trabalho real com Qwen 3.6 27B/35B e os veem como bons o suficiente para muitas tarefas do dia a dia, embora ainda mais fracos que modelos de fronteira.
  • Loops de pensamento, chamadas de ferramenta alucinadas e falhas em stacks de nicho ou legados (por exemplo, PHP/WordPress antigo, arquiteturas incomuns) são reclamações comuns.
  • Há discordância sobre o impacto da quantização: alguns afirmam que Q8 é “praticamente sem perdas”; outros relatam degradação substancial em cenários de contexto longo e com muitas ferramentas.

Motivações: aprendizado, privacidade e controle

  • Muitos valorizam modelos locais por:
    • Privacidade e necessidades regulatórias (código/dados sensíveis, ambientes governamentais ou corporativos).
    • Compreensão profunda de LLMs, hardware e ferramentas por meio de experimentação local.
    • Independência de mudanças de política do fornecedor, censura ou futuros aumentos de preço.
  • Outros veem LLMs locais como um hobby caro ou uma ferramenta educacional, em vez de um substituto prático para a IA em nuvem hoje.