Qwen 3.8 27B उत्कृष्ट है, लेकिन यह डिफ़ॉल्ट रूप से ज़्यादा सोचने लगता है

मूल लेख ↗ Hacker News चर्चा ↗

Qwen 3.8 27B, एक उच्च-स्तरीय open local language model, को लगभग frontier-स्तर के reasoning के लिए सराहा जा रहा है लेकिन डिफ़ॉल्ट रूप से “ज़्यादा सोचने” के लिए आलोचना भी मिल रही है; यह भारी संख्या में internal “thinking” tokens खर्च करता है और कई कार्यों में विकल्पों की तुलना में 5–10x धीमा चलता है। उपयोगकर्ता इसे Muse Glimmer और Gemma 4 जैसे संक्षिप्त मॉडलों से तुलना करते हैं, model size और test-time compute के बीच trade-off पर बहस करते हैं, और नोट करते हैं कि token efficiency latency और agents की operating cost दोनों पर सीधा असर डालती है। कई लोग reasoning कम या बंद करने, thinking budgets या LoRAs जोड़ने, या templates बदलने के बाद अच्छे परिणाम बताते हैं—जो दिखाता है कि current local models कितने शक्तिशाली हो गए हैं और उनकी उपयोगिता harness तथा configuration choices पर कितनी निर्भर है.

मॉडल की गुणवत्ता बनाम ज़्यादा सोचना

  • Qwen 3.8 27B को 3.6 की तुलना में एक बड़ा छलांग और स्थानीय dense मॉडल के लिए असामान्य रूप से मजबूत माना जा रहा है; कुछ उपयोगकर्ता इसे reasoning और coding में हाल के frontier मॉडलों के क़रीब बेंचमार्क कर रहे हैं।
  • मुख्य शिकायत: डिफ़ॉल्ट “xhigh” reasoning mode बहुत बड़े thinking traces पैदा करता है (अक्सर 10–30k+ tokens), जिससे यह 5–10x धीमा और इंटरैक्टिव काम के लिए बहुत token-अकुशल हो जाता है।
  • ज़्यादा सोचने की समस्या अक्सर गहरी rabbit holes, अत्यधिक edge-case विश्लेषण, और over-engineered समाधानों के रूप में दिखती है (जैसे साधारण prompts के लिए ornate SVG/HTML)।

Reasoning modes, templates, और mitigations

  • उपयोगकर्ताओं ने बड़े लाभ इनसे बताए हैं:
    • reasoning को बंद करना या “xhigh” की बजाय “low”/“medium” का उपयोग करना।
    • llama.cpp (--thinking-budget, --thinking-message) में hard reasoning budgets लगाना, या custom proxies का उपयोग करना जो N tokens के बाद thinking काट दें और मॉडल को आगे बढ़ने को कहें।
  • कुछ harnesses/templates डिफ़ॉल्ट रूप से xhigh पर सेट होते हैं; अन्य (community के “fixed” templates) “medium” सेट करते हैं और reasoning effort ट्यून करने के लिए dropdown देते हैं।
  • “ThinkingCap” जैसे LoRAs को thinking tokens ~40–50% कम करने के लिए परखा जा रहा है, जबकि गुणवत्ता बनाए रखने की कोशिश की जा रही है; शुरुआती नतीजे मिले-जुले लेकिन आशाजनक हैं।

अन्य मॉडलों से तुलना

  • Muse Glimmer 30B: “thoughts” बहुत संक्षिप्त, token usage कम, और व्यवहार में तेज़, भले ही raw tok/s में धीमा हो; कुछ लोग इसे Qwen 3.6/3.8 से कम सक्षम मानते हैं।
  • Gemma 4 12B को एक standout छोटे मॉडल के रूप में उद्धृत किया गया है (तेज़, multimodal, token-efficient), हालांकि कुछ toolchains में misconfigured templates और settings से यह कथित तौर पर प्रभावित होता है।
  • कई उपयोगकर्ता नोट करते हैं कि प्रशिक्षण प्रोत्साहनों और benchmark optimization के कारण आज के कई open और proprietary models “overthink” करते हैं।

हार्डवेयर, प्रदर्शन, और स्थानीय बनाम क्लाउड

  • Qwen 3.8 27B उच्च-स्तरीय consumer GPUs और Apple Silicon पर चलता है, लेकिन speed और context size memory bandwidth और VRAM से काफ़ी सीमित रहते हैं।
  • उपयोगकर्ता वास्तविक आँकड़े साझा करते हैं: मध्यम context पर अच्छी GPUs या M-series Macs पर लगभग 20–50 tok/s; लंबे contexts और भारी reasoning generation को लगभग 1 tok/s तक गिरा सकते हैं।
  • कुछ लोगों के लिए, बिजली और हार्डवेयर मिलाकर cloud models (जैसे Luna/Terra/Sol, GPT-5.x) सस्ते और तेज़ पड़ते हैं; अन्य लोग privacy, agentic workflows, और लंबे समय तक चलने वाले jobs के लिए local को बेहतर मानते हैं।

“thinking” पर व्यापक विचार

  • बहुत से लोग debugging, safety, और गहरी planning के लिए visible reasoning पसंद करते हैं; अन्य इसे cognitively exhausting मानते हैं और hidden या minimal thinking को प्राथमिकता देते हैं।
  • इस पर बहस है कि chain-of-thought tokens क्या सचमुच की internal reasoning को दर्शाते हैं या एक “mumbling” substrate हैं, और क्या भविष्य के models को latent-space reasoning की ओर अधिक जाना चाहिए।