‘Astra weights को पढ़ और लिख सकता है ताकि Qwen को बेहतर बनाया जा सके’ वाला पोस्ट भ्रामक है
Anthropic के Astra मॉडल के इस दावे कि वह दूसरे मॉडल (Qwen) को नाटकीय रूप से बेहतर बनाने के लिए neural network weights को “native” रूप से पढ़ और लिख सकता है, को अब कई लोग अतिशयोक्तिपूर्ण और संभावित रूप से भ्रामक कह रहे हैं। आलोचकों का तर्क है कि सबसे प्रभावशाली लगने वाले नतीजे या तो छोटे toy networks से आते हैं जिनके weights सीधे context में फिट हो जाते हैं, या फिर Astra Python code लिखकर weights का विश्लेषण और उनमें tweaks करता है—जो well-known mechanistic interpretability और steering techniques पर आधारित है—न कि किसी नई “weight-language” क्षमता पर। कई लोगों के लिए यह काम फिर भी दिलचस्प है, क्योंकि यह दिखाता है कि LLMs ML research tasks को automate कर सकते हैं, लेकिन वे चेतावनी देते हैं कि बढ़ा-चढ़ाकर दिए गए headlines और abstracts AI “psychosis” को बढ़ा रहे हैं और research claims पर भरोसा कम कर रहे हैं.
क्या Astra/Qwen वाला पोस्ट भ्रामक था?
- कई लोगों का तर्क है कि शीर्षक/सार (“स्वाभाविक रूप से weights पढ़ और लिख सकता है”, “raw weights को देखकर ही”, Qwen के साथ “इसी तरह”) अलग-अलग प्रयोगों को जरूरत से ज़्यादा बढ़ा-चढ़ाकर या धुंधले ढंग से जोड़ता है, जिससे कई पाठकों को लगा कि Astra ने Qwen के पूरे raw weights को सीधे पढ़कर उसे संपादित किया।
- दूसरों का कहना है कि अगर आप इसे सच में पढ़ें तो लेखन स्पष्ट है; असली समस्या यह है कि लोग शीर्षक और सार को सरसरी तौर पर पढ़ते हैं, और कम-मेहनत वाली टिप्पणियाँ गलतफहमियों को और बढ़ा देती हैं।
- कई टिप्पणीकार इसे आधुनिक ML में सामान्य overselling/marketing की तरह देखते हैं, सीधी झूठी बात नहीं; जबकि कुछ इसे “malpractice” कहते हैं, क्योंकि गलत समझा जाना पहले से अनुमानित था।
“Native” weight editing बनाम coding agents
- स्पष्ट विभाजन:
- छोटे “toy” nets (दसियों से सैकड़ों हज़ार parameters) जहाँ weights को सीधे context में रखा जाता है और उन पर लगभग images की तरह तर्क किया जाता है।
- बड़े-model प्रयोग (जैसे Qwen) जहाँ Astra Python tools लिखता है ताकि weights को load, analyze, और modify किया जा सके (जैसे steering vectors, ablations), बिना full raw weights को कभी in-context देखे।
- आलोचकों का कहना है कि इन दोनों को एक ही “native” क्षमता के रूप में मिलाना भ्रामक है; बड़े पैमाने वाले हिस्से मूलतः उन्नत coding/ML-engineering कार्य हैं, जो इंसान पहले से करते आए हैं।
- बचाव करने वाले कहते हैं कि weights के साथ काम करने के लिए ऐसे tools लिखना और orchestrate करना भी फिर भी “weights के साथ काम करना” ही है, और इस अंतर को जरूरत से ज़्यादा बड़ा बताया जा रहा है।
नवीनता बनाम पूर्व कार्य और कठिनाई
- mechanistic interpretability और weight-space steering/ablation को पहले से मौजूद क्षेत्रों के रूप में नोट किया गया; कई लोग Astra को मुख्यतः ज्ञात techniques का अत्यंत सक्षम, automated practitioner मानते हैं।
- कुछ ML शोधकर्ताओं का कहना है कि Qwen की “math improvement” असल में steering के ज़रिए एक looping issue को अनब्लॉक करना है, कोई नई capability बनाना नहीं, और इंसानों के लिए लगभग एक “intro-level interp project” है।
- दूसरे, खासकर गैर-विशेषज्ञ, इन विचारों को वास्तव में अपने लिए नया और व्यावहारिक रूप से उपयोगी बताते हैं, क्योंकि इससे manual-like weight edits या छोटे models को बिना full training के LLM द्वारा “program” किया जा सकता है।
Recursive self-improvement और इसके निहितार्थ
- कुछ लोग इस काम को AI के अपने weights को recursively सुधारने की कल्पनाओं से जोड़ते हैं; संदेह करने वाले जवाब देते हैं कि जब तक human-like coding agents loop में हैं, यह एक गुणात्मक रूप से नए intelligence regime से ज़्यादा “superhuman toil” के करीब है।
- ऐसे techniques का उपयोग harmful behaviors को prune करने, training loops के भीतर optimizers के रूप में, या छोटे task-specific models को स्वतः generate करने के लिए करने में रुचि दिखाई गई है।
HN, hype, और AI discourse
- कई टिप्पणियाँ AI “psychosis” पर अफ़सोस जताती हैं (hype और anti-hype दोनों), oversold papers, और shallow upvoting/commenting dynamics पर।
- अन्य लोग इस scrutiny को ही स्वस्थ मानते हैं: दावों की आक्रामक जाँच करना, छोटे-net “native reading” को बड़े-net code-based experiments से अलग करना, और sensational narratives का विरोध करना।