DaisyRose-27B

DaisyRose-27B नाम का एक नया open-weight model, जो Qwen 3.8 27B का भारी post-trained variant है, अपने मजबूत benchmark scores और बड़े training run (144 H200 GPUs पर 18 दिन) के कारण ध्यान खींच रहा है, लेकिन कुछ उपयोगकर्ता सवाल उठाते हैं कि क्या ये gains वास्तविक capability दर्शाते हैं या खास evals के लिए tuned “benchmaxxing” हैं। Commenters hardware cost estimates, quantization और consumer GPUs पर deployment, तथा यह कि क्या targeted RL-style post-training वास्तव में prose, metaphor understanding, या generality जैसे क्षेत्रों में hidden regressions के बिना models को हर तरफ बेहतर बना सकता है, इन सब पर चर्चा करते हैं। यह thread DaisyRose को open models के post-training की व्यापक प्रवृत्ति के संदर्भ में रखता है, साथ ही eval-data dependence, data privacy, और AGI तथा self-improvement के लिए मौजूदा approaches की सीमाओं को भी उजागर करता है.

प्रदर्शन और “benchmaxxing” संबंधी चिंताएँ

  • कुछ उपयोगकर्ता DaisyRose-27B को निजी eval सेट्स के खिलाफ टेस्ट करते हैं।
  • एक रिपोर्ट: DaisyRose, 86-टास्क “medium reasoning” बेंच पर (0.898 बनाम 0.87) दूसरे Qwen 3.8-आधारित finetune से थोड़ा बेहतर प्रदर्शन करता है, लेकिन अधिक VRAM, लंबा context, अलग quantization, और अधिक tokens उपयोग करता है।
  • DaisyRose के लाभों (KV cache, context, quantization, decode speed, hardware) को देखते हुए, कुछ लोगों के लिए यह बढ़त मामूली मानी जाती है और इसे “benchmaxxing” कहा जाता है।
  • अन्य लोग नोट करते हैं कि ब्लॉग में कई benchmarks बिना regression के बेहतर होते दिखते हैं, लेकिन संशयवादी अभी भी बिना मापे गए क्षेत्रों (जैसे prose, metaphor understanding, prompt interpretation) में छिपे tradeoffs की अपेक्षा करते हैं।

Training setup, topology, and cost

  • Training reportedly used 144 H200 GPUs for 18 days (~63k GPU-hours).
  • मौजूदा बाजारों के आधार पर back-of-envelope price estimates लागत को लगभग mid–hundreds of thousands of dollars के आसपास रखते हैं, जिसमें provider के अनुसार काफी variation है।
  • यह बहस विवादास्पद है कि क्या सस्ते accelerators (जैसे अन्य vendors के chips) मदद करेंगे; कुछ का कहना है कि अगर कोई स्पष्ट रूप से सस्ता, भरोसेमंद रास्ता होता, तो वह पहले से ही इस्तेमाल हो रहा होता।
  • लेखकों का कहना है कि उन्होंने rollout और trainer nodes को अलग रखा, और उनके बीच RDMA का उपयोग किया।

Quantization, formats, and consumer hardware

  • शुरुआत में GGUF की कमी को लेकर निराशा थी; समुदाय का एक GGUF conversion जल्दी साझा किया जाता है।
  • स्पष्ट किया जाता है कि model पहले से quantized है, लेकिन llama.cpp-style उपयोग के लिए इसे GGUF में conversion चाहिए।
  • Qwen 27B-आधारित models को उनके आकार से अधिक सक्षम (“punching above their weight”) माना जाता है और वे उच्च-स्तरीय consumer machines (जैसे पर्याप्त RAM वाला Mac Mini / laptop या 48GB VRAM GPUs) पर फिट हो जाते हैं।

Post-training strategy and generalization

  • DaisyRose, Qwen 3.8 27B पर एक भारी post-training/RL run है, जो स्वयं 3.6 से post-trained था।
  • इस प्रक्रिया को gap-finding plus high-quality targeted data के रूप में वर्णित किया जाता है, खासकर Terminal Bench 4.1 को बेहतर करने के लिए।
  • कुछ लोगों का तर्क है कि focused RL लक्षित tasks को बेहतर कर सकता है और संबंधित benchmarks पर भी सीमित रूप से generalize कर सकता है।
  • अन्य लोग मानते हैं कि heavy post-training अनिवार्य रूप से models को संकीर्ण बनाता है, जिससे वे coding/eval tasks में बेहतर लेकिन messy, unbenchmarkable language tasks में खराब हो जाते हैं।

Broader ecosystem and future directions

  • अन्य post-trained open models (जैसे Ember, Particle, Nex, Sabi-noema) के साथ तुलना की जाती है, जिसके परिणाम मिश्रित हैं।
  • Qwen से परे अधिक मजबूत, open-weight base models की मांग है, और ऐसे variants की भी जो विशेष languages या backend tasks के लिए optimized हों।
  • कुछ लोग ऐसे model की मांग करते हैं जो कई post-training प्रयासों से improvements को एकत्र करे, बजाय कई ऐसे forks के जो Qwen से बस थोड़ा बेहतर हों।