Language Models अपनी खुद की Weights को फिर से लिख सकते हैं
शोधकर्ताओं का दावा है कि उन्होंने एक ऐसा language model बनाया है जो पारंपरिक gradient-based training के बिना अपनी खुद की weights को inspect और rewrite कर सकता है, और उदाहरण के तौर पर reasoning loop को ठीक करके अपने प्रदर्शन में थोड़ा सुधार कर सकता है, जो लंबे उत्तरों का कारण बनता था। टिप्पणीकार बँटे हुए हैं: कुछ इसे recursive self-improvement की दिशा में एक शुरुआती लेकिन महत्वपूर्ण कदम मानते हैं, जबकि कुछ का कहना है कि यह मुख्यतः सरल, मानव-ज्ञात weight-tweaking techniques की नई पैकेजिंग है, जिसका व्यावहारिक लाभ अभी सीमित है। कई लोग उन models को लेकर safety और alignment की चिंताएँ भी उठाते हैं जो अपने व्यवहार को स्वयं संशोधित कर सकते हैं, खासकर open-weight systems में बिना बाहरी oversight के।
सुरक्षा, संरेखण, और जोखिम
- कई टिप्पणीकारों को चिंता है कि स्पष्ट alignment फोकस के बिना self-modifying models खतरनाक हैं, और इसकी तुलना “जहाज़ों को यह जाने बिना लॉन्च करने” से करते हैं कि वे कहाँ उतरेंगे।
- यह चिंता भी है कि कोई model benign कारणों से weights संपादित करने का दावा कर सकता है, जबकि चुपचाप हानिकारक व्यवहार जोड़ रहा हो जिसे पहचानना कठिन हो।
- कुछ लोग तर्क देते हैं कि मौजूदा alignment कमज़ोर है या ज़्यादातर liability-shifting है; दूसरे जवाब देते हैं कि आज के refusal behaviors जैसी गंभीर safeguards आवश्यक हैं और आंशिक रूप से प्रभावी भी हैं।
- इस पर बहस कि “alignment” वास्तविक safety work है या केवल censorship; इस दृष्टिकोण के विरोधी weapons, theft, और autonomous harm जैसे ठोस abuse scenarios पेश करते हैं।
मॉडल ने वास्तव में क्या किया
- कई टिप्पणियाँ बताती हैं कि मुख्य प्रदर्शित सुधार एक reasoning loop / token-limit समस्या को reasoning traces को छोटा करके ठीक करना था।
- इसे नया capability या knowledge जोड़ने के बजाय एक bug या “tumor” हटाने जैसा बताया गया।
- edits को hidden states का विश्लेषण करके निकाले गए छोटे, लक्षित weight changes के रूप में वर्णित किया गया है, न कि wholesale re-training के रूप में।
क्या यह सच में training है या कुछ नया?
- “no training” दावे को लेकर भ्रम है। टिप्पणीकारों ने इसे “no backprop/standard gradient descent,” न कि “no optimization” के रूप में स्पष्ट किया।
- मॉडल प्रभावी रूप से zero-order या linear optimization करता है: activations की जाँच करो, short scripts के जरिए weight edits सुझाओ, practice problems पर test करो, जो metrics सुधारें उन्हें रखो।
- आलोचकों का कहना है कि यह conceptually known techniques के काफ़ी समान है और बिना constraints के overfitting या garbage पैदा कर सकता है।
पिछले काम से संबंध
- इसे पहले के “weight-space programming” और Google के “sleep” framework से तुलना की गई।
- आम सहमति: यह synthetic fine-tuning और bug-fixing से थोड़ा आगे का कदम है; फिर भी weights की गहरी, सहज समझ से बहुत दूर है।
- कुछ लोग इसे मुख्य रूप से इसलिए रोचक मानते हैं क्योंकि यह दिखाता है कि एक LLM explicit backprop के बिना gradient-like updates का अनुमान लगा सकता है।
Recursive Self-Improvement की संभावनाएँ
- कुछ टिप्पणीकार सोचते हैं कि यह recursive self-improvement और continual learning का प्रारंभिक precursor हो सकता है, खासकर यदि भविष्य में models को weights और reasoning traces के बड़े corpora पर train किया जाए।
- दूसरों को मूलभूत सीमाएँ दिखती हैं: जब model optimum के क़रीब पहुँच जाता है, तो naive self-edits अधिकतर नुकसान ही करते हैं; वास्तविक RSI के लिए संभवतः structural changes चाहिए होंगे, न कि सिर्फ weight tweaks।
Paper की शैली, hype, और व्यावहारिकता
- कई लोग paper के marketing tone और संभवतः LLM-generated prose की आलोचना करते हैं, यह कहते हुए कि इससे trust कम होता है।
- वास्तविक दुनिया की उपयोगिता पर संदेह: सामान्य continual learning के लिए यह शायद बहुत धीमा और brittle है, और मुख्यतः targeted bug fixes या niche interpretability work के लिए उपयोगी है।