GLM-5.2 – Cómo ejecutarlo localmente

Artículo original ↗ Discusión en Hacker News ↗

Requisitos de hardware y viabilidad

  • El modelo completo de GLM‑5.2 necesita del orden de 750 GB–1.5 TB (FP8–FP16); “local” aquí suele significar estaciones de trabajo o servidores de gama alta, no escritorios o portátiles típicos.
  • Configuraciones realistas discutidas: 512 GB DDR4/DDR5 + doble RTX 3090/RTX 6000 o similar; Mac Studio con 256–512 GB de RAM unificada; equipos de clase DGX Spark; futuras APU de mucha RAM (Strix/Medusa Halo) o aceleradores estilo Intel/Crescent Island.
  • Muchos sostienen que 256 GB de RAM es un mínimo teórico; 512 GB+ es “realista” para velocidades utilizables y una cuantización menos extrema.

Rendimiento, TPS y ancho de banda de memoria

  • La velocidad de decodificación se enmarca repetidamente como “matemática del ancho de banda de memoria”:
    TPS ≈ pesos activos (GB) ÷ ancho de banda de memoria (GB/s).
  • Con 40B de parámetros activos a 4 bits (20 GB) y ~100 GB/s de ancho de banda, se esperan ~5 tok/s; el enrutamiento MoE y la especulación (MTP) pueden mejorar o empeorar según los cuellos de botella.
  • Velocidades locales reportadas:
    • GLM‑5.2 Q4 en CPU+2×3090 mixto: ~6 tok/s (puede subir con RAM/CPU más rápidas).
    • Q6 solo en CPU: ~1 tok/s; 16 flujos paralelos no aumentan el TPS por flujo.
  • Se describe la descarga pesada a CPU o disco como “inutilizable” para trabajo interactivo, especialmente por el muy lento prefill del prompt.

Cuantización vs calidad

  • El hilo enfatiza que afirmaciones de benchmark como “4 bits dinámicos es esencialmente sin pérdida” pueden ser engañosas; la divergencia KL ≠ calidad en tareas reales.
  • Varios usuarios dicen que deben subir 1–2 bits (Q5/Q6) por encima del supuesto Q4 “sin pérdida” para tareas de contexto largo y complejas.
  • El rendimiento publicitado de GLM‑5.2 cercano a GPT‑5.x solo aplica en FP8/FP16; en FP4/Q4 la pérdida es modesta, pero con un bitwidth muy bajo (FP2/Q1–Q2) la calidad, según reportes, cae por debajo de modelos fuertes de gama media alta.

Economía local vs nube

  • Para particulares, ejecutar GLM‑5.2 localmente con alta calidad suele juzgarse “no económico”: hardware de $10k–$90k, más cientos de vatios de consumo, frente a un acceso por API relativamente barato.
  • Para equipos o empresas que ya gastan miles al mes en tokens, un servidor local de $15k–$80k puede amortizarse en 1–3 años, especialmente con uso compartido y privacidad/compliance predecibles.
  • Las comparaciones del coste eléctrico muestran que la inferencia local puede ser comparable en coste por token, pero solo después de un capex sustancial.

Privacidad, control y motivación

  • Fuerte interés en modelos locales por:
    • Privacidad de datos y evitar el registro/bloqueo por parte del proveedor.
    • Aislamiento regulatorio y geopolítico.
    • Libertad frente a límites de tasa, topes y la “enshittification” de los productos en la nube.

Competencia, panorama de modelos y futuro

  • Muchos ven GLM‑5.2 como parte de una ola más amplia de pesos abiertos (junto con DeepSeek, Qwen, etc.) que erosiona las afirmaciones sobre “fosos” propietarios.
  • El consenso: el “punto dulce” a corto plazo para consumidores sigue siendo de ~27–35B modelos (por ejemplo, Qwen3.6‑27B) totalmente en VRAM; los modelos de clase 750B siguen siendo de nicho, caros y a menudo demasiado lentos localmente.