Astra Qwen को बेहतर बनाने के लिए वज़न पढ़ और लिख सकती है

मूल लेख ↗ Hacker News चर्चा ↗

एक नए प्रयोग का दावा है कि OpenAI का नवीनतम मॉडल, Astra, सीधे अन्य neural networks के numerical weights को पढ़ और संशोधित कर सकता है, यह पहचान सकता है कि वे क्या करते हैं (जैसे कौन-सा game खेलते हैं), और conventional retraining के बिना एक छोटे Qwen language model को surgically edit करके reasoning loops को बहुत कम और math performance को बढ़ा सकता है। टिप्पणीकार इसे “weight-space programming” और तेज़, सस्ते model improvement की दिशा में एक संभावित बड़ा कदम मानते हैं, जिसके interpretability, recursive self-improvement, और alignment पर दूरगामी निहितार्थ हैं, जबकि अन्य का कहना है कि परिणाम मौजूदा mechanistic interpretability techniques के बढ़ा-चढ़ाकर पेश किए गए विस्तार हैं, जो अब तक केवल छोटे या संकीर्ण रूप से टूटे हुए models तक सीमित हैं।

समग्र प्रतिक्रिया

  • कई टिप्पणीकार स्तब्ध हैं; कुछ इसे “attention is all you need” पल जितना महत्वपूर्ण मानते हैं या इसे “singularity-coded” देखते हैं।
  • अन्य लोग तर्क देते हैं कि मौजूदा मॉडल गणित, कोड, और mechanistic interpretability कार्यों में पहले से ही इतने अच्छे हैं कि यह प्रभावशाली है, लेकिन चौंकाने वाला नहीं।
  • एक बड़ा उपसमूह मानता है कि ब्लॉग पोस्ट और शीर्षक क्षमताओं की नवीनता को बढ़ा-चढ़ाकर पेश करते हैं।

Astra को क्या करते दिखाया गया है

  • छोटे policy networks (दसियों हज़ार parameters) के लिए, Astra:
    • केवल weights और architecture से यह अनुमान लगाती है कि कोई network कौन-सा Atari-जैसा game खेलता है।
    • शून्य से नई policies लिख सकती है जो ~100M steps पर प्रशिक्षित PPO से बेहतर प्रदर्शन करती हैं।
  • छोटे Qwen3.5-0.8B reasoning model के लिए:
    • activation space में एक “looping” दिशा पहचानती है जो लंबे, दोहरावदार thinking को जन्म देती है।
    • looping को दबाने के लिए ~0.016% weights संपादित करती है, जिससे math benchmark scores बढ़ते हैं।
    • यह Gemma 270M model में इसी तरह सुधार करने में विफल रहती है, जो looping की बजाय बस math में कमजोर है।

नई सफलता बनाम ज्ञात तकनीकें

  • समर्थक इसे ऐसे देखते हैं:
    • एक ठोस प्रदर्शन कि frontier LLMs “nat​ively” weights पढ़ और लिख सकती हैं।
    • recursive self‑improvement और “weight‑space programming” की दिशा में एक संभावित नया रास्ता।
  • संशयवादी इंगित करते हैं:
    • math fix मूलतः एक ज्ञात failure mode का steering-vector / abliteration-शैली edit है, नई क्षमता जोड़ना नहीं।
    • Qwen के लिए Astra PyTorch, forward passes, और मानक mech‑interp विचारों का उपयोग करती है; एक मेहनती इंसान या छोटा agentic system सिद्धांततः वही कर सकता था।
    • weight‑space से जुड़ा समान काम (hypernetworks, learned optimizers, weight‑space learning, ROME, abliteration) वर्षों से मौजूद है।

उभरती क्षमता या स्पष्ट प्रशिक्षण?

  • एक पक्ष मानता है कि यह largely ML papers, code, और tooling पर व्यापक training से उभर कर आया है; weights “बस data” हैं।
  • दूसरा पक्ष संदेह करता है कि छोटे models और weight tasks पर explicit internal RL/RSI-style training हुआ है, संभवतः internal lab workflows का पुन: उपयोग करते हुए।
  • कई लोग नोट करते हैं कि बाहर से यह बताना असंभव है; models पहले से ही self‑improvement tasks पर भारी मात्रा में प्रशिक्षित हो सकते हैं।

Recursive self‑improvement और scaling

  • कई लोग तुरंत इसे RSI से जोड़ते हैं:
    • अगर एक बड़ा model किसी दूसरे को surgically improve कर सकता है, तो क्या वह अंततः peers या खुद को tune कर सकता है?
    • कुछ लोग MOE experts को अन्य experts पर काम करते हुए कल्पना करते हैं।
  • अन्य लोग मौजूदा सीमाओं पर जोर देते हैं:
    • Astra, edit किए गए models की तुलना में orders of magnitude बड़ी है।
    • यह Gemma में नई skills जोड़ने में विफल रही।
    • अभी तक कोई सबूत नहीं कि कोई model समान आकार या बड़े model को सार्थक रूप से improve कर सकता है, स्वयं को तो छोड़ ही दें।

Interpretability और tooling के निहितार्थ

  • इसका उपयोग करने में गहरी रुचि है:
    • automated mech‑interp (behavior directions, looping, refusals, sycophancy ढूँढ़ना)।
    • LoRA/GRPO की तुलना में सस्ता, अधिक लक्षित post‑training, खासकर छोटे open models के लिए।
    • अगर edits localized और समझने योग्य रहें तो models को अधिक auditable बनाना।
  • कुछ लोग इसे सामान्य “learning” की बजाय model debugging या “brain surgery” से जोड़ते हैं।

सुरक्षा, alignment, और open-model जोखिम

  • टिप्पणीकार चिंतित हैं:
    • weight‑space “jailbreaks” जो guardrails हटाएँ या open‑weight models में backdoors embed करें।
    • दुर्भावनापूर्ण “viral” models जो अन्य models के weights edit करें (safetensors पर supply‑chain attacks)।
    • frontier labs का चुपचाप models को de‑align या refusals override करना सिखाना।
  • अन्य लोग जवाब देते हैं कि:
    • वही तकनीकें hidden triggers और backdoors की पहचान और हटाने में मदद कर सकती हैं।
    • ठीक से aligned models को खुद को de‑align “नहीं चाहना चाहिए”, हालांकि यह विवादित है।

पुनरुत्पादन के प्रयास और सामान्यता

  • कुछ लोग आंशिक replications की रिपोर्ट करते हैं:
    • अन्य frontier models (जैसे non‑Astra) भी weights से Breakout या circle image पहचान सकती हैं।
    • एक व्यक्ति रिपोर्ट करता है कि Astra ने उनके अपने Qwen‑based setup में looping ठीक कर दी।
  • अन्य लोगों ने समान कार्यों की कोशिश की और असफल रहे:
    • छोटे regression model या natural-language classifier को edit करने से प्रदर्शन विश्वसनीय रूप से बेहतर नहीं हुआ।
    • tiny transformer language model पर एक test ने conventional training की तुलना में बदतर परिणाम दिए।
  • कुल मिलाकर tasks, architectures, और scale में सामान्यता और robustness अभी अस्पष्ट है; कई लोग formal benchmarks और independent replications का आग्रह करते हैं।