Memdoor: 5 Qwen3.8-27B मॉडलों की एक टीम LiveCodeBench Hard पर Fable 5 को पछाड़ती है
एक नया multi-agent “team” सेटअप, जो पाँच Qwen3.8‑27B open models पर आधारित है, reportedly Anthropic के Fable 5 को LiveCodeBench Hard coding benchmark पर बराबरी करता है या पछाड़ देता है, जिससे यह दिलचस्पी बढ़ी है कि क्या चतुर harnesses छोटे, स्थानीय models को proprietary frontier systems की टक्कर दे सकते हैं। टिप्पणीकार यह जाँचते हैं कि लाभ का कितना हिस्सा role-based agents और बेहतर context management से आता है बनिस्बत raw model quality के, और LiveCodeBench जैसे saturated, पुराने benchmarks की विश्वसनीयता पर सवाल उठाते हैं। चर्चा आगे शक्तिशाली, uncensored open-weight models को consumer hardware पर viable बनाए रखने की चिंताओं तक फैलती है, जबकि platform moderation कड़ी हो रही है और closed models तेज़ी से आगे बढ़ रहे हैं।
बेंचमार्क और रिपोर्ट किया गया परिणाम
- Memdoor एक पहले चर्चा किए गए GVS5H harness को पाँच Qwen3.8‑27B एजेंटों (planner, ideators, solver, manager, repair) की एक “team” का उपयोग करके पुनः लागू करता है।
- LiveCodeBench Hard की पहली 10 समस्याओं पर, यह 9.8/10 रिपोर्ट करता है, जबकि मूल harness 9.6 और Fable 5 8.0 पर है।
- कुछ लोग इसे इस बात का प्रमाण मानते हैं कि अच्छे harnessing के साथ open 27B मॉडल, इस बेंचमार्क पर coding के लिए एक “frontier” मॉडल की बराबरी या उससे आगे जा सकते हैं।
- अन्य लोगों का तर्क है कि नमूना बहुत छोटा है और LiveCodeBench Hard पुराना है तथा संभवतः saturated/contaminated है, इसलिए parity के दावे कमज़ोर हैं; वे नए, व्यापक बेंचमार्क और speed/cost तुलनाएँ चाहते हैं।
Harnesses और multi-agent “teams”
- कई टिप्पणियाँ इस बात पर ज़ोर देती हैं कि multi-agent setups और harness engineering (भूमिकाएँ, iteration loops, file-based communication, context management) प्रदर्शन को काफ़ी बढ़ा सकते हैं।
- एक दृष्टिकोण: teams इसलिए काम करती हैं क्योंकि वे श्रम विभाजित करती हैं, role के अनुसार context सीमित करती हैं, और noisy intermediate tokens को फ़िल्टर करती हैं, जिससे usable context प्रभावी रूप से बढ़ता और केंद्रित होता है।
- दूसरा दृष्टिकोण: किसी विशिष्ट eval को जीतने के लिए harness को ट्यून करना आसान है, लेकिन ऐसा बनाना कठिन है जो सामान्यीकृत हो; “swarms of idiots” अक्सर बस parallel में लूप करते रहते हैं।
Model quality, quantization, और विकल्प
- Bonsai 2-bit और अन्य बहुत low-bit quants पर बहस: कुछ कहते हैं कि वे तेज़ हैं और “इतने भी मूर्ख नहीं,” जबकि अन्य कहते हैं कि 2–3-bit quants वास्तविक coding के लिए साफ़ तौर पर बदतर हैं, और लंबी dialogues में गलतियाँ बढ़ती जाती हैं।
- Higher-bit (Q5/Q6) या अच्छे 3-bit ISTA quants को उपयोगी समझौता माना जाता है; “full accuracy का 95%” जैसे दावों की benchmark-cherry-picking कहकर आलोचना की जाती है।
- कई लोग Qwen3.8‑Flash‑Next या भविष्य के Qwen4 variants आज़माने का सुझाव देते हैं, जिन्हें benchmarks के अनुसार अधिक मज़बूत और तेज़ माना जाता है।
Local बनाम proprietary frontier models
- Local, open-weight models को प्रतिस्पर्धी बनाए रखने की प्रबल इच्छा है ताकि hyperscalers और उनकी censorship/safety policies पर निर्भरता से बचा जा सके (जैसे game reverse-engineering, scraping, कुछ web automation को ब्लॉक करना)।
- कुछ का तर्क है कि मौजूदा open models (Qwen, DeepSeek, GLM) पहले से ही अधिकांश coding के लिए “काफ़ी अच्छे” हैं, यदि इंसान कुशल हो और tools/tests का उपयोग करे।
- अन्य लोग जवाब देते हैं कि proprietary models अभी भी कठिन कार्य बहुत तेज़ी से और कम iterations में हल कर लेते हैं, और open weights समय के साथ पुराने पड़ जाएंगे क्योंकि ongoing training के बिना उनमें baked-in knowledge stale हो जाएगी।
Hardware और feasibility
- उदाहरण consumer laptops (M-series Macs, 16–32GB VRAM वाले gaming GPUs) पर 27B/Flash-Next को मध्यम speeds पर चलाने से लेकर multi-GPU rigs और specialized chips (Cerebras) तक जाते हैं, जो बहुत उच्च throughput देते हैं।
- इस बात को लेकर आशावाद है कि बेहतर inference engines और quantization, Qwen-class models को consumer hardware पर तेज़ और सस्ता बना देंगे, लेकिन 16GB VRAM serious multi-agent work के लिए अभी भी तंग है।
Openness, censorship, और hosting
- चिंता है कि Hugging Face जैसे platforms “uncensored” या “abliterated” models को increasingly हटा सकते हैं; हटाए गए cyber-tuned models और takedowns को ट्रैक करने वाले mirrors के लिंक दिए गए हैं।
- अन्य लोग तर्क देते हैं कि ऐसे models बस वैकल्पिक hosts या torrents पर चले जाएँगे; open weights को “de-censor” करने की प्रक्रिया पहले से अच्छी तरह समझी जाती है और अपेक्षाकृत सस्ती है।
वास्तविक दुनिया में उपयोग और सीमाएँ
- कुछ लोग real coding के लिए local Qwen/DeepSeek/GLM का उपयोग करने की रिपोर्ट करते हैं: bug-finding, छोटे tools, reverse-engineering और game clones, अच्छे लेकिन frontier-level autonomy से कम परिणामों के साथ।
- संशयवादी नोट करते हैं कि वर्तमान content का बहुत सा हिस्सा “benchmark और tokens per second talk” है, और उन्होंने अभी तक कई substantial production systems नहीं देखे हैं जो मुख्यतः local models पर बने हों।