Ejecutar modelos locales ahora está bien

Artículo original ↗ Discusión en Hacker News ↗

Hardware y asequibilidad

  • Muchos comentarios dicen que «local está bien ahora» solo si tienes hardware serio: GPUs de 24–32 GB de VRAM, Macs con 64–128 GB de RAM, o equipos de clase Strix Halo / DGX Spark.
  • Otros se oponen: una máquina de 2–3k USD está fuera del alcance de gran parte del mundo; para muchos desarrolladores, pagar entre 20 y 200 USD al mes por un modelo alojado es más barato y sencillo.
  • Hay debate sobre si los portátiles (especialmente los térmicamente محدودados) son una buena idea frente a una estación de trabajo de escritorio o pequeños servidores on‑prem.

Capacidades de los modelos locales actuales

  • Se citan Qwen 3.6 27B (denso) y 35B MoE, Gemma 4 (26B MoE, 31B denso), GLM 5.x, GPT‑OSS, Granite 4.1, etc. como «muy capaces», aproximadamente comparables a la calidad frontier de mediados de 2025 para muchas tareas.
  • Los usuarios reportan 30–150+ tokens/s en GPUs comunes (por ejemplo, 3090/4090/5090) y Macs con mucha RAM, especialmente con MTP / decodificación especulativa y buena cuantización.
  • Los LLM de estilo difusión (por ejemplo, DiffusionGemma) impresionan a algunos por su velocidad con un solo prompt, pero los investigadores en el hilo dicen que probablemente no escalan ni igualan a los transformers densos en calidad.

Coding y flujos de trabajo con agentes

  • Gran división en la experiencia: algunos dicen que Qwen 3.6 27B/35B son «lo suficientemente buenos para usar a diario» para programar; otros los encuentran muy por detrás de Claude/GPT para bases de código no triviales.
  • Los modelos locales suelen tener problemas con:
    • Llamadas a herramientas fiables y salida JSON.
    • Flujos de trabajo de contexto grande (cientos de miles de tokens).
    • «Vibe-coding» autodirigido y de largo alcance; se atascan, entran en bucle o cometen errores de diseño sutiles.
  • Muchos tienen éxito al:
    • Usar modelos frontier para planificar y modelos locales para ejecutar tareas más pequeñas.
    • Mantener los prompts extremadamente específicos y acotar el trabajo con mucha precisión.
    • Aceptarlos como «autocompletado inteligente / desarrollador junior», no como arquitectos autónomos.

Arneses, prompts y configuración

  • Tema repetido: el arnés importa tanto como el modelo. Pi, OpenCode, Hermes, CLIs personalizadas y prompts de sistema/AGENTS.md cuidadosamente ajustados cambian drásticamente los resultados.
  • La cuantización es polémica: 4 bits puede «lobotomizar» los modelos para el uso de herramientas; algunos abogan por 5–6 bits o Q8 cuando sea posible, especialmente para MoE.
  • Muchos advierten que las configuraciones locales requieren bastante retoque de flags, esquemas de cuantización, tamaños de contexto y plantillas; las expectativas deberían ajustarse en consecuencia.

Economía y control: nube vs local

  • Argumentos a favor de lo local:
    • Sin límites de tasa, sin cambios drásticos, sin «nerfs» silenciosos ni depreciaciones del modelo.
    • Mejor privacidad y control de la IP; útil para entornos regulados o paranoicos.
    • El hardware puede depreciarse más lentamente de lo que la gente espera dada la escasez actual de GPUs.
  • Argumentos a favor de la nube:
    • Los modelos frontier (Claude/GPT/DeepSeek) siguen siendo claramente más inteligentes en coding complejo y trabajo agéntico.
    • La inferencia alojada puede ser más barata y rápida para la mayoría de los usuarios, sin carga de hardware ni mantenimiento.
    • Las empresas a menudo prefieren «externalizar el dolor de cabeza», incluso si on‑prem podría ser más barato.

Perspectiva futura

  • Muchos esperan que los modelos abiertos/locales sigan mejorando con mejores arquitecturas, entrenamiento consciente de la cuantización y trucos de inferencia, pero también esperan que los proveedores frontier sigan por delante a escala.
  • Hay interés en:
    • Aparatos GPU on‑prem para equipos (por ejemplo, «LLM en un armario»).
    • Patrones híbridos: local para trabajo rutinario/privado/de baja latencia, nube para planificación pesada o contextos enormes.
  • Algunos ven esto como un momento decisivo: lo local ya es «lo bastante bueno» para una parte sorprendente de las tareas cotidianas, aunque todavía no sea un reemplazo completo de los mejores modelos en la nube.