उपभोक्ता हार्डवेयर (RTX 4090) पर Qwen 3.8 Flash Next (125B) को 100T/s पर चलाएँ

मूल लेख ↗ Hacker News चर्चा ↗

Strata inference engine के साथ consumer GPUs पर Qwen 3.8 Flash Next (एक 125B-parameter MoE model) चलाने से उपयोगकर्ताओं को 50–120+ tokens per second मिल रहे हैं, जिससे कुछ लोग कहते हैं कि यह रोज़मर्रा के coding और agentic work के लिए Claude Opus जैसे cloud models की बराबरी कर सकता है या उन्हें बदल सकता है। बहस का बड़ा हिस्सा aggressive low-bit quantization (Q2–Q3) पर केंद्रित है: उत्साही लोग Qwen 3.8 27B की तुलना में आश्चर्यजनक रूप से कम quality loss और यहाँ तक कि Opus‑4.7‑स्तर का प्रदर्शन बताते हैं, जबकि skeptics कठिन tasks, vision accuracy, और long-horizon reliability में degradation की ओर इशारा करते हैं। कुल मिलाकर, यह project लगभग ~$1.5–3k hardware पर high-end local LLMs को practical बनाने की दिशा में एक बड़ा कदम माना जा रहा है, हालांकि accuracy, concurrency, और sub‑4‑bit quantization को कितनी दूर तक ले जाया जा सकता है, इस पर सवाल बने हुए हैं।

प्रदर्शन और हार्डवेयर परिणाम

  • कई उपयोगकर्ता Strata के साथ Qwen 3.8 Flash Next पर RTX 4090 में 100–125 tok/s की रिपोर्ट करते हैं, यहाँ तक कि बड़े contexts (262k+ तक) के साथ भी।
  • पुराने/कमज़ोर सेटअपों पर भी उपयोगी गति मिलती है: 3080 10GB पर ~30 tok/s, 3090 पर ~40–60 tok/s, बड़े system RAM के साथ R9700 पर ~60 tok/s, CPU-only पर ~7 tok/s, लेकिन लंबे रातभर चलने वाले runs के लिए फिर भी उपयोगी।
  • Apple silicon (M1/M5 Max, 64–128GB) 3-bit quants को 20–70 tok/s पर चलाता है, लेकिन CPU bandwidth और RAM सीमाएँ prefill को bottleneck कर सकती हैं।
  • कुछ लोग अन्य engines (जैसे ds4) के जरिए Flash Next के 4-bit quants को उच्च-स्तरीय workstation GPUs पर decode में 200+ tok/s तक पहुँचते हुए बताते हैं।

Quantization और Model Variants

  • थ्रेड low-bit quants पर काफ़ी बहस करता है:
    • Q2: व्यापक रूप से गंभीर काम के लिए बहुत degraded माना जाता है, लेकिन कुछ का कहना है कि बड़े models और अच्छी calibration से Q2 संकीर्ण tasks के लिए उपयोगी हो सकता है।
    • IQ3_XXS / IQ3_S: बार-बार “sweet spot” के रूप में उद्धृत; एक benchmark में unquantized से ~1 point के भीतर, और कुछ tasks पर थोड़ा बेहतर भी।
    • Q4: बहुत से लोग इसे व्यावहारिक floor मानते हैं यदि आप “most function” बनाए रखना चाहते हैं।
  • “Coder” variant आधे experts prune करता है और full SWE-Bench Verified के ~91% तक पहुँचता है, लेकिन कई उपयोगकर्ताओं को यह full Flash Next model से काफ़ी खराब लगता है।

Quality बनाम 27B और Cloud Models

  • बहुत से लोग रिपोर्ट करते हैं कि Flash Next (3-bit पर भी) coding और general tasks के लिए Qwen 3.8 27B से साफ़ बेहतर है, और प्रति token तेज़ भी है।
  • दूसरे कहते हैं कि उच्च precision (जैसे Q6, FP8/NVFP4) पर 27B अधिक accurate या अधिक stable लगता है, खासकर बहुत लंबे contexts में।
  • कुछ उपयोगकर्ता Flash Next (IQ3 quants) को coding benchmarks जैसे DeepSWE पर पहले के frontier cloud models (विभिन्न Opus/Sonnet versions) के लगभग बराबर benchmark करते हैं; अन्य अब भी convinced नहीं हैं और reliability के लिए cloud को पसंद करते हैं।

Inference Engines और Implementation Details

  • Strata का MoE expert caching/offload मुख्य नवीनता है: यह प्रति token लगभग 6B active parameters रखता है जबकि experts को VRAM और RAM के बीच paging करता है।
  • उपयोगकर्ता Strata की तुलना llama.cpp, ds4, ninfer, sglang, और FreeToken से करते हैं; Flash Next के लिए speed पर Strata अक्सर जीतता है, लेकिन कुछ tasks पर खराब भी हो सकता है (विशेष रूप से एक vision benchmark जहाँ same weights के साथ llama.cpp ने Strata से काफ़ी बेहतर प्रदर्शन किया)।
  • Concurrency: शुरुआती reports में poor parallel behavior बताया गया था, लेकिन बाद में सुधार किया गया; Strata अब “parallel” setting का समर्थन करता है और contexts को RAM में swap करता है।

सीमाएँ, संदेह, और खुले प्रश्न

  • कई commenters sub‑4‑bit quants पर भरोसा नहीं करते और बताते हैं कि कई “100 tok/s on consumer GPU” demos accuracy metrics छोड़ देते हैं।
  • Strata के under vision quality विशेष रूप से coordinate-prediction test पर llama.cpp से कहीं खराब बताई गई है।
  • कुछ उपयोगकर्ताओं को low bitrates या aggressive MTP के साथ hallucinations या tool-calling issues दिखती हैं; अन्य को ऐसी कोई समस्या नहीं मिलती और वे configuration sensitivity पर ज़ोर देते हैं।
  • इस पर बहस है कि Flash Next Q2/Q3 वास्तव में अच्छी तरह quantized dense 27B से बेहतर है या नहीं, खासकर constrained hardware पर।

व्यापक विषय

  • इस बात को लेकर गहरी उत्सुकता है कि ~$1.5–3k consumer setups पर अब “Opus-like” local performance हासिल की जा सकती है, हालांकि अभी सभी के लिए नहीं।
  • hardware cost, VRAM/RAM stagnation, और quantization hype को लेकर चिंताएँ; कुछ का मानना है कि आगे की efficiency gains current datacenter build-out को पीछे छोड़ देंगी।
  • चर्चा security (curl|bash installers, local agents) और राजनीतिक रूप से संवेदनशील topics पर censorship/coverage को भी छूती है, उदाहरणों के साथ कि Qwen models अभी भी कुछ संवेदनशील ऐतिहासिक घटनाओं को uncensored होने पर याद कर सकते हैं.