Qwen3.8-2.4T

मूल लेख ↗ Hacker News चर्चा ↗

एक नया 2.4-ट्रिलियन-पैरामीटर Qwen3.8 मॉडल open weights के रूप में जारी किया गया है, जिसने कई लोगों को शीर्ष proprietary models के करीब बेंचमार्क परिणामों से प्रभावित किया है, जबकि ~5 TB system को वास्तविक दुनिया में कैसे चलाया जाए, इस पर व्यावहारिक सवाल भी खड़े किए हैं। टिप्पणीकार quantization रणनीतियों, hardware आवश्यकताओं, और यह कि क्या अत्यंत बड़े 1-bit या FP8 variants, DeepSeek V4 Flash, GLM 5.2, या आने वाले Qwen3.8-27B जैसे छोटे लेकिन बेहतर-optimized models की तुलना में वाकई उपयोगी हैं, इस पर बहस कर रहे हैं। यह चिंता भी है कि open variant जानबूझकर सीमित है—vision के बिना, कम context length के साथ, और QAT quantization के बिना—जिससे इसे Kimi K3 जैसे rivals की तुलना में self-host करना अधिक कठिन हो जाता है, भले ही performance समान हो।

समग्र रिलीज़ और स्थिति

  • Qwen3.8-2.4T लगभग 2.4T-पैरामीटर का MoE मॉडल है, जिसमें लगभग 5TB bf16 वज़न हैं (≈2.5TB fp8), और इसे Opus 4.8–Fable 5 बेंचमार्क स्तरों के आसपास रखा गया है।
  • इसे Kimi K3 (2.8T-A100B) के प्रतिद्वंदी के रूप में प्रस्तुत किया गया है, लेकिन लॉन्च पर इसे सर्व करना अधिक कठिन है क्योंकि यह केवल bf16/fp8 तक सीमित है और QAT-ready 4-bit वज़न उपलब्ध नहीं हैं।

पैमाना, प्रदर्शन और तुलना

  • दावे: 1-bit quantized variant (~397GB, 95B active MoE) “Opus 4.5 level” के आसपास प्रदर्शन करता है, और कुछ लोगों का तर्क है कि बहुत बड़े मॉडल भारी quantization के तहत कम गिरते हैं।
  • अन्य लोग इसका विरोध करते हैं: full-precision models के साथ 1-bit तुलना को भ्रामक कहा जाता है; KL divergence को क्षमता का अपर्याप्त proxy बताया जाता है।
  • कई टिप्पणीकार कहते हैं कि DeepSeek v4 Flash और Kimi K3 पहले ही Opus 4.5–4.6 territory तक बहुत छोटे आकार और लागत पर पहुँच चुके हैं।
  • कोडिंग के लिए, कुछ उपयोगकर्ताओं का कहना है कि GLM 5.2, उच्च token usage के बावजूद, Kimi K3 और Qwen 3.8 दोनों से बेहतर है, जिससे उनके लिए यह अधिक economical बन जाता है।

हार्डवेयर आवश्यकताएँ और quantization

  • full bf16 (≈4.9TB) या fp8 में चलाना cluster-only माना जाता है; consumer setups को quants पर निर्भर रहना होगा।
  • एक निश्चित RAM budget के लिए guidance को लेकर बहस है: पुराना नियम “bigger model at lower bits > smaller at higher bits” अब MoE, QAT, MTP/DFlash, KV efficiency के कारण धुंधला हो गया है।
  • मोटा consensus:
    • 4-bit अक्सर standard models के लिए सबसे कम “safe” precision होती है।
    • Sub‑4-bit आमतौर पर खराब होती है, जब तक कि model को विशेष रूप से उसके लिए trained न किया गया हो (ऐसे बड़े models बहुत कम हैं)।
  • कई उपयोगकर्ता local use के लिए आने वाले 27B Qwen3.8 पर ध्यान दे रहे हैं (जो high-end GPUs पर Q4 quants के साथ फिट हो जाता है), और open releases में 120–300B रेंज को एक “dead zone” बता रहे हैं।

विशेषताएँ और सीमाएँ

  • Open-weight 2.4T model में vision नहीं है, 250k context है, और proprietary Qwen3.8-Max (1M context, built-in tools, non-thinking mode) में मौजूद कुछ “thinking”/tooling features शामिल नहीं हैं।
  • कुछ लोग इसे Qwen 3.5 के अधिक पूर्ण open releases की तुलना में एक कदम पीछे मानते हैं।
  • नया reasoning_effort parameter (low/medium/xhigh) speed बनाम depth का संतुलन बनाने के लिए है, लेकिन उपयोगकर्ताओं की रिपोर्ट है कि low पर भी loopiness बनी रह सकती है।

इकोसिस्टम, tooling और providers

  • Unsloth शुरुआती quants और विस्तृत docs प्रदान करता है; कई लोग उनकी quality और responsiveness की प्रशंसा करते हैं, हालांकि कुछ विशिष्ट gguf builds के साथ समस्याएँ रिपोर्ट करते हैं।
  • Llama.cpp और समान tools QAT के बिना quantize कर सकते हैं, लेकिन optimality कम हो सकती है; providers संभवतः अच्छे Q4 QAT के आने तक fp8 या high-quality calibrated nvfp4 को प्राथमिकता देंगे।
  • बताए गए serving options में Alibaba का अपना cloud, OpenRouter, DigitalOcean, Fireworks, OpenCode integrations शामिल हैं; Bedrock को mostly proprietary US labs की ओर खिसकता हुआ माना जा रहा है।

चीनी प्रतिस्पर्धा और नीति संदर्भ

  • कई टिप्पणीकार Qwen के open releases को Chinese industrial policy से जोड़ते हैं, जो open models और tech transfer को प्रोत्साहित करती है, और इसे geopolitical strategy तथा openness के व्यावहारिक चालक दोनों के रूप में देखते हैं।
  • व्यापक भावना यह है कि Chinese open-weight releases Western labs पर दबाव बना रही हैं, जिससे पूरी तरह closed “metered intelligence” भविष्य रुक रहा है।

हार्डवेयर की दिशा और भविष्य के मॉडल

  • ऐसे models को unquantized चलाने के लिए sub‑$10k hardware के अनुमान लगभग 5 साल से लेकर ~2040 तक हैं, और bandwidth (HBM बनाम DDR) को केवल capacity नहीं, बल्कि एक प्रमुख limiter माना गया है।
  • अन्य लोगों को उम्मीद है कि भविष्य के छोटे (<400B) मॉडल commodity hardware के 2.4T bf16 को आराम से होस्ट करने से बहुत पहले समान intelligence तक पहुँच जाएँगे।