Guia de Jamesob para executar SOTA LLMs localmente

Opções de hardware e desempenho

• Configurações populares de “ponto ideal”:
  • Uma única RTX 3090 / 4090 ou similar (~24 GB de VRAM) para Qwen 3.6–27B/35B em 4–6 bits com velocidades utilizáveis.
  • Duas 3090s (~48 GB de VRAM) elogiadas pela altíssima largura de banda de memória e bom throughput em Qwen 27B.
  • Máquinas com 96–128 GB de VRAM (RTX 6000, OEM/Spark, Jetson, Arc B70) usadas para executar múltiplos modelos ou contextos maiores.
  • Apple M-series (especialmente M4/M5 Max 48–128 GB) vistas como máquinas convenientes com memória unificada, mas significativamente mais lentas do que GPUs grandes para modelos maiores.
• Rigs multi-GPU 4×/8× da classe RTX 6000 conseguem executar GLM 5.2 NVFP4 com pruning REAP e quantização pesada, a dezenas de tokens/s até 100+ tok/s, mas exigem US$ 40k–US$ 100k+ e configuração complexa.

Economia: local vs. nuvem

• Muitos argumentam que rigs locais grandes são economicamente irracionais em comparação com:
  • assinaturas de US$ 200/mês para modelos de fronteira.
  • provedores baratos por token (DeepSeek, GLM, MiMo via OpenRouter, etc.).
• Contraponto: o local é valioso quando:
  • existem requisitos extremos de privacidade de dados / on-prem.
  • você quer agentes autônomos 24/7 sem custos por token.
  • você quer se proteger contra futuros aumentos de preço ou restrições de serviço.
• Consenso: para a maioria das pessoas, use a nuvem agora; só compre hardware grande se você já tiver GPUs, gostar de mexer com isso ou tiver restrições rígidas.

Qualidade do modelo, quantização e contexto

• Quantização pesada (Q4, MOEs com pruning REAP) é amplamente usada, mas:
  • vários relatam degradação perceptível em codificação/análise de longo horizonte, apesar de bons benchmarks.
  • tarefas pequenas/de chat muitas vezes parecem ok; fluxos de trabalho profundos e de longo contexto expõem erros acumulados e loops.
• Alguns afirmam que estratégias modernas de sampling (DRY, top-n-sigma, min_p, XTC) mitigam muito os problemas de longo contexto e de quantização; outros continuam céticos.
• Executar modelos de escala de fronteira em precisão total localmente é descrito como impraticável no momento (centenas de GB a TB de VRAM).

Casos de uso e harnesses

• LLMs locais são elogiados por: privacidade, ausência de limites de tokens, trabalho offline e codificação, depuração, pesquisa, sumarização e manutenção de KB “boas o suficiente” com modelos na escala de Qwen/Gemma.
• “Harnesses” sofisticados com múltiplos agentes (Pi, Vibe, configurações estilo Claude Code, orquestradores personalizados) podem extrair mais de modelos menores, mas adicionam complexidade e preocupações de segurança.

Speech-to-text e modelos auxiliares

• O Whisper já não é visto como SOTA em STT; Parakeet v3 e Voxstral são citados como mais precisos/rápidos.
• Assistentes locais com STT + LLM são considerados práticos com VRAM modesta.

Segurança e isolamento

• Forte recomendação para isolar agentes (VMs, microVMs, sandboxes do SO, SELinux, acesso restrito ao sistema de arquivos).
• VMs com passthrough de GPU são vistas como mais complicadas; alguns preferem o LLM no host e os agentes em guests isolados.