Executar modelos locais agora é bom
Hardware e acessibilidade
- Muitos comentários dizem que “local é bom agora” só se você tiver hardware sério: GPUs com 24–32 GB de VRAM, Macs com 64–128 GB de RAM, ou máquinas da classe Strix Halo / DGX Spark.
- Outros rebatem: uma máquina de 2–3 mil USD está fora do alcance de grande parte do mundo; para muitos devs, US$20–US$200/mês por um modelo hospedado é mais barato e simples.
- Há debate sobre se laptops (especialmente os termicamente limitados) são uma boa ideia versus desktop/workstation ou pequenos servidores on‑prem.
Capacidades dos modelos locais atuais
- Qwen 3.6 27B (dense) e 35B MoE, Gemma 4 (26B MoE, 31B dense), GLM 5.x, GPT‑OSS, Granite 4.1 etc. são citados como “muito capazes”, aproximadamente comparáveis à qualidade de frontier de meados de 2025 para muitas tarefas.
- Usuários relatam 30–150+ tokens/s em GPUs comuns (por exemplo, 3090/4090/5090) e Macs com muita RAM, especialmente com MTP/speculative decoding e boa quantização.
- LLMs no estilo diffusion (por exemplo, DiffusionGemma) impressionam alguns pela velocidade em um único prompt, mas pesquisadores no fio dizem que provavelmente não escalam nem igualam transformers densos em qualidade.
Codificação e fluxos de trabalho de agentes
- Forte divisão na experiência: alguns dizem que Qwen 3.6 27B/35B são “bons o suficiente para usar no dia a dia” para programação; outros acham que ficam muito atrás de Claude/GPT para bases de código que não sejam brinquedo.
- Modelos locais frequentemente têm dificuldade com:
- Chamadas de ferramenta confiáveis e saída em JSON.
- Fluxos de trabalho com contexto grande (centenas de k tokens).
- “Vibe-coding” autônomo e de longo horizonte; eles travam, entram em loop ou cometem erros sutis de design.
- Muitos conseguem sucesso ao:
- Usar modelos frontier para planejar e modelos locais para executar tarefas menores.
- Manter prompts extremamente específicos e delimitar o trabalho de forma rígida.
- Aceitá-los como “autocompletar inteligente / dev júnior”, não como arquitetos autônomos.
Harnesses, prompts e configuração
- Tema recorrente: o harness importa tanto quanto o modelo. Pi, OpenCode, Hermes, CLIs personalizadas e system prompts/AGENTS.md cuidadosamente ajustados mudam drasticamente os resultados.
- A quantização é controversa: 4 bits pode “lobotomizar” modelos para uso com ferramentas; alguns defendem 5–6 bits ou Q8 quando possível, especialmente para MoE.
- Muitos alertam que configurações locais exigem bastante ajuste de flags, esquemas de quantização, tamanhos de contexto e templates; as expectativas devem ser definidas de acordo.
Economia e controle: nuvem vs local
- Argumentos a favor do local:
- Sem limites de taxa, “rug pulls”, “nerfs” silenciosos ou descontinuação de modelos.
- Melhor privacidade e controle de IP; útil para ambientes regulados ou paranoicos.
- O hardware pode se desvalorizar mais lentamente do que as pessoas esperam, dada a escassez atual de GPUs.
- Argumentos a favor da nuvem:
- Modelos frontier (Claude/GPT/DeepSeek) ainda são claramente mais inteligentes para programação complexa e trabalho agentivo.
- A inferência hospedada pode ser mais barata e rápida para a maioria dos usuários, sem ônus de hardware ou manutenção.
- Empresas frequentemente preferem “terceirizar a dor de cabeça”, mesmo que on‑prem pudesse ser mais barato.
Perspectiva futura
- Muitos esperam que os modelos abertos/locais continuem melhorando com arquiteturas melhores, treinamento ciente de quantização e truques de inferência, mas também esperam que os fornecedores frontier continuem à frente em escala.
- Há interesse em:
- Aparelhos GPU on‑prem para equipes (por exemplo, “LLM no armário”).
- Padrões híbridos: local para trabalho rotineiro/privado/de baixa latência, nuvem para planejamento pesado ou contextos enormes.
- Alguns veem este como um momento decisivo: local já é “bom o suficiente” para uma parcela surpreendente das tarefas cotidianas, embora ainda não seja um substituto completo para os principais modelos em nuvem.