Ejecuta Qwen 3.8 Flash Next (125B) en hardware de consumo (RTX 4090) a 100T/s

Artículo original ↗ Discusión en Hacker News ↗

Ejecutar Qwen 3.8 Flash Next (un modelo MoE de 125B parámetros) en GPUs de consumo con el motor de inferencia Strata está dando a los usuarios 50–120+ tokens por segundo, lo que lleva a algunos a decir que rivaliza o reemplaza modelos en la nube como Claude Opus para programación cotidiana y trabajo agentivo. Gran parte del debate se centra en la cuantización agresiva de bajo bit (Q2–Q3): los entusiastas informan de una pérdida de calidad sorprendentemente pequeña frente a Qwen 3.8 27B e incluso un rendimiento al nivel de Opus-4.7, mientras que los escépticos destacan degradación en tareas difíciles, precisión en visión y fiabilidad a largo plazo. En conjunto, el proyecto se considera un gran paso para hacer prácticos los LLM locales de alta gama en hardware de ~$1.5–3k, aunque siguen pendientes cuestiones sobre precisión, concurrencia y hasta dónde se puede forzar la cuantización por debajo de 4 bits.

Resultados de rendimiento y hardware

  • Varios usuarios informan de 100–125 tok/s en RTX 4090 con Qwen 3.8 Flash Next usando Strata, incluso con contextos grandes (hasta 262k+).
  • Las configuraciones más antiguas o menos potentes siguen viendo velocidades utilizables: ~30 tok/s en 3080 10GB, ~40–60 tok/s en 3090, ~60 tok/s en una R9700 con gran RAM del sistema, ~7 tok/s solo CPU pero útil para ejecuciones largas durante la noche.
  • Apple silicon (M1/M5 Max, 64–128GB) ejecuta quants de 3 bits a 20–70 tok/s, pero el ancho de banda de la CPU y los límites de RAM pueden convertirse en un cuello de botella para el prefill.
  • Algunos reportan quants de 4 bits de Flash Next mediante otros motores (p. ej., ds4) alcanzando más de 200 tok/s de decode en GPUs de workstation de gama alta.

Cuantización y variantes del modelo

  • El hilo debate intensamente los quants de bajo bit:
    • Q2: ampliamente visto como demasiado degradado para trabajo serio, pero algunos afirman que modelos más grandes y una buena calibración pueden hacer Q2 utilizable para tareas concretas.
    • IQ3_XXS / IQ3_S: citados repetidamente como un “punto óptimo”, con un benchmark que afirma estar dentro de ~1 punto del modelo sin cuantizar, a veces incluso ligeramente mejor en algunas tareas.
    • Q4: muchos lo consideran el límite práctico si quieres “conservar la mayor parte de la funcionalidad”.
  • La variante “Coder” elimina la mitad de los expertos y alcanza ~91% del SWE-Bench Verified completo, pero varios usuarios sienten que es notablemente peor que el modelo completo Flash Next.

Calidad frente a 27B y modelos en la nube

  • Muchos informan que Flash Next (incluso a 3 bits) supera claramente a Qwen 3.8 27B para programación y tareas generales, al tiempo que también es más rápido por token.
  • Otros dicen que 27B a mayor precisión (p. ej., Q6, FP8/NVFP4) se siente más preciso o más estable, especialmente en contextos muy largos.
  • Algunos usuarios comparan Flash Next (quants IQ3) como aproximadamente equivalente a modelos cloud frontier anteriores (varias versiones de Opus/Sonnet) en benchmarks de programación como DeepSWE; otros siguen sin convencerse y prefieren la nube por fiabilidad.

Motores de inferencia y detalles de implementación

  • El caching/offload de expertos MoE de Strata es la novedad clave: mantiene ~6B parámetros activos por token mientras intercambia expertos entre VRAM y RAM.
  • Los usuarios comparan Strata con llama.cpp, ds4, ninfer, sglang y FreeToken; Strata suele ganar en velocidad para Flash Next, pero puede ser peor en algunas tareas (en especial un benchmark de visión donde llama.cpp superó claramente a Strata con los mismos pesos).
  • Concurrencia: se corrigen informes iniciales de mal comportamiento en paralelo; Strata admite una configuración “parallel” y ahora intercambia contextos a RAM.

Limitaciones, escepticismo y preguntas abiertas

  • Varios comentaristas desconfían de los quants por debajo de 4 bits y señalan que muchas demostraciones de “100 tok/s en GPU de consumo” omiten métricas de precisión.
  • La calidad de visión bajo Strata se reporta específicamente como mucho peor que llama.cpp en una prueba de predicción de coordenadas.
  • Algunos usuarios ven alucinaciones o problemas de llamada a herramientas con tasas de bits bajas o con MTP agresivo; otros no reportan tales problemas y subrayan la sensibilidad a la configuración.
  • Hay debate sobre si Flash Next Q2/Q3 es realmente mejor que un dense 27B bien cuantizado, especialmente en hardware limitado.

Temas más amplios

  • Gran entusiasmo porque un rendimiento “tipo Opus” local ya es alcanzable en configuraciones de consumo de ~$1.5–3k, aunque todavía no para todos.
  • Preocupaciones sobre el costo del hardware, el estancamiento de VRAM/RAM y el entusiasmo exagerado por la cuantización; algunos esperan nuevas mejoras de eficiencia que recorten el actual despliegue en centros de datos.
  • La discusión toca la seguridad (instaladores curl|bash, agentes locales) y la censura/cobertura de temas políticamente sensibles, con ejemplos de que los modelos Qwen aún pueden recordar algunos acontecimientos históricos sensibles cuando no están censurados.