Guía de Jamesob para ejecutar localmente LLMs SOTA

Opciones de hardware y rendimiento

• Configuraciones populares de “punto óptimo”:
  • Una sola RTX 3090 / 4090 o similar (~24 GB de VRAM) para Qwen 3.6–27B/35B a 4–6 bits con velocidades utilizables.
  • Dos 3090 (~48 GB de VRAM), elogiadas por su gran ancho de banda de memoria y buen rendimiento en Qwen 27B.
  • Equipos con 96–128 GB de VRAM (RTX 6000, OEM/Spark, Jetson, Arc B70) usados para ejecutar múltiples modelos o contextos más grandes.
  • Apple M-series (especialmente M4/M5 Max de 48–128 GB), vistos como equipos cómodos de memoria unificada pero significativamente más lentos que las grandes GPU para modelos grandes.
• Equipos multi-GPU 4×/8× de clase RTX 6000 pueden ejecutar GLM 5.2 NVFP4 podado con REAP y fuertemente cuantizado a decenas–100+ tok/s, pero requieren $40k–$100k+ y una configuración compleja.

Economía: local vs nube

• Muchos sostienen que los grandes equipos locales son económicamente irracionales frente a:
  • Suscripciones de $200/mes a modelos frontera.
  • Proveedores baratos por token (DeepSeek, GLM, MiMo vía OpenRouter, etc.).
• Contraargumento: lo local es valioso cuando:
  • Existen requisitos extremos de privacidad de datos / uso on-prem.
  • Quieres agentes autónomos 24/7 sin costes por tokens.
  • Quieres cubrirte frente a futuras subidas de precios o restricciones del servicio.
• Consenso: para la mayoría de las personas, usar la nube ahora; solo comprar hardware grande si ya tienes GPU, te encanta trastear o tienes restricciones estrictas.

Calidad del modelo, cuantización y contexto

• La cuantización agresiva (Q4, MoE podados por REAP) se usa ampliamente, pero:
  • Varios informan una degradación notable en codificación / análisis de largo recorrido pese a buenos benchmarks.
  • Las tareas pequeñas/de chat a menudo parecen estar bien; los flujos de trabajo profundos y de largo contexto exponen errores acumulativos y bucles.
• Algunos afirman que las estrategias modernas de muestreo (DRY, top-n-sigma, min_p, XTC) mitigan en gran medida los problemas de largo contexto y cuantización; otros siguen siendo escépticos.
• Ejecutar localmente modelos de escala frontera en precisión completa se describe como actualmente impracticable (cientos de GB–TB de VRAM).

Casos de uso y harnesses

• Los LLM locales son elogiados por: privacidad, ausencia de límites de tokens, trabajo sin conexión y código “suficientemente bueno”, depuración, investigación, resumen y mantenimiento de bases de conocimiento con modelos de escala Qwen/Gemma.
• Los sofisticados “harnesses” multiagente (Pi, Vibe, configuraciones estilo Claude Code, orquestadores personalizados) pueden extraer más de modelos pequeños, pero añaden complejidad y preocupaciones de seguridad.

Speech-to-text y modelos auxiliares

• Whisper ya no se considera SOTA en STT; se citan Parakeet v3 y Voxstral como más precisos/más rápidos.
• Se considera práctico contar con STT local + asistentes LLM en una VRAM modesta.

Seguridad y aislamiento

• Fuerte recomendación de aislar agentes (VMs, microVMs, sandboxes del SO, SELinux, acceso restringido al sistema de archivos).
• Los VMs con passthrough de GPU se consideran más delicados; algunos prefieren el LLM en el host y los agentes en invitados aislados.