GLM-5.2 – Como Executar Localmente

Requisitos de Hardware e Viabilidade

• O modelo completo do GLM‑5.2 precisa da ordem de 750 GB–1,5 TB (FP8–FP16); “local” aqui normalmente significa estações de trabalho ou servidores de alto nível, não desktops ou laptops típicos.
• Configurações realistas discutidas: 512 GB de DDR4/DDR5 + dual RTX 3090/RTX 6000 ou similar; Mac Studio com 256–512 GB de RAM unificada; máquinas da classe DGX Spark; APUs de alta RAM em breve (Strix/Medusa Halo) ou aceleradores no estilo Intel/Crescent Island.
• Muitos argumentam que 256 GB de RAM é um mínimo teórico; 512 GB+ é “realista” para velocidades utilizáveis e quantização menos extrema.

Desempenho, TPS e Largura de Banda da Memória

• A velocidade de decodificação é repetidamente descrita como “matemática da largura de banda da memória”:
  TPS ≈ pesos ativos (GB) ÷ largura de banda da memória (GB/s).
• Com 40B de parâmetros ativos em 4-bit (20 GB) e ~100 GB/s de largura de banda, espera-se ~5 tok/s; roteamento MoE e especulação (MTP) podem melhorar ou piorar dependendo dos gargalos.
• Velocidades locais relatadas:
  • GLM‑5.2 Q4 em CPU+2×3090 misto: ~6 tok/s (pode aumentar com RAM/CPUs mais rápidos).
  • Q6 apenas em CPU: ~1 tok/s; 16 streams paralelos não aumentam o TPS por stream.
• Descarregar muito para CPU ou disco é descrito como “inutilizável” para trabalho interativo, especialmente devido ao pré-preenchimento do prompt muito lento.

Quantização vs Qualidade

• O fio enfatiza que afirmações de benchmarks como “dinâmico de 4-bit é essencialmente sem perdas” podem ser enganosas; divergência KL ≠ qualidade em tarefas reais.
• Vários usuários dizem precisar subir 1–2 bits acima do Q4 “sem perdas” alegado, indo para Q5/Q6, para tarefas de contexto longo e complexas.
• O desempenho anunciado do GLM‑5.2, próximo ao GPT‑5.x, só se aplica em FP8/FP16; em FP4/Q4 a perda é modesta, mas em largura de bits muito baixa (FP2/Q1–Q2) a qualidade aparentemente cai para abaixo de modelos de fronteira fortes de nível intermediário.

Economia Local vs Nuvem

• Para indivíduos, executar o GLM‑5.2 localmente com alta qualidade costuma ser julgado “não econômico”: hardware de US$ 10k–US$ 90k, além de centenas de watts de energia, versus acesso a API relativamente barato.
• Para equipes ou empresas que já gastam milhares por mês em tokens, um servidor local de US$ 15k–US$ 80k pode se pagar em 1–3 anos, especialmente com uso compartilhado e privacidade/conformidade previsíveis.
• Comparações de custo de eletricidade mostram que a inferência local pode ser comparável em custo por token, mas somente após capex substancial.

Privacidade, Controle e Motivação

• Há forte interesse em modelos locais para:
  • Privacidade de dados e evitar registro de logs/recusas de serviço por parte do fornecedor.
  • Isolamento regulatório e geopolítico.
  • Liberdade de limites de taxa, cotas e da “enshittification” dos produtos em nuvem.

Competição, Panorama de Modelos e Futuro

• Muitos veem o GLM‑5.2 como parte de uma onda mais ampla de pesos abertos (ao lado de DeepSeek, Qwen, etc.) corroendo as alegações de “moats” proprietários.
• O consenso: o “ponto ideal” de curto prazo para consumidores ainda é de modelos de ~27–35B (por exemplo, Qwen3.6‑27B) totalmente em VRAM; modelos de classe 750B continuam de nicho, caros e, muitas vezes, lentos demais localmente.