Qwenputer: Qwen3.5 के अंदर एक कार्यशील, निर्धार्य RISC-V CPU
एक नया प्रयोग deterministic RISC‑V CPU, RAM, और यहाँ तक कि एक छोटा filesystem भी Qwen3.5 language model के वज़नों के भीतर सीधे embed करता है, जिससे neural network का एक हिस्सा एक conventional computer में बदल जाता है जिसे model अंदर से call कर सकता है। टिप्पणीकार बहस करते हैं कि यह interpretability और tooling में एक clever milestone है या सिर्फ़ एक overengineered tech demo, जबकि LLMs में determinism, continual learning, internal tool use, और symbolic compute को neural representations के साथ जोड़ने के निहितार्थों पर विचार करते हैं। बहुत से लोग models में precise computation और long-term memory के लिए built-in, trainable “hardware” की संभावना से प्रभावित हैं, भले ही मौजूदा implementations धीमे, सीमित, और कुछ हद तक contrived हों।
कार्यान्वयन और तंत्र संबंधी प्रश्न
- कई लोग पूछते हैं कि RAM ट्रिक और gated attention से परे CPU एमुलेशन वास्तव में कैसे काम करता है: क्या CPU को वज़नों में “hardcoded” किया गया है, या उसे RISC-V step function लागू करने के लिए प्रशिक्षित किया गया है?
- कुछ लोग स्पष्ट करते हैं कि CPU को पिछली state से अगली state तक जाने वाले एक शुद्ध function के रूप में देखा जा सकता है, जो transformer-as-function दृष्टिकोण के अनुकूल है।
- दूसरों को यह लेकर भ्रम है कि क्या यह सचमुच “internal” है, या प्रभावी रूप से tensor space में एक specialized runtime/tool pipeline; clocking और control flow भी कुछ अस्पष्ट छोड़े गए हैं।
निर्धार्यता और उपयोगिता पर बहस
- एक पक्ष इसे एक मज़बूत प्रदर्शन मानता है कि LLMs को सावधानी से engineer करने पर वे पूरी तरह deterministic हो सकते हैं, और यह “LLMs inherently non-deterministic हैं” वाले meme का प्रतिवाद है।
- संदेह करने वालों का तर्क है कि यह एक toy setup है: वास्तविक दुनिया में LLM का उपयोग प्रभावी रूप से non-deterministic ही रहता है, और इससे वह तथ्य नहीं बदलता।
- कुछ लोग कहते हैं कि यह अधिकतर एक Rube Goldberg machine या tech demo है (जैसे type systems में Doom चलाना), दिलचस्प लेकिन अनावश्यक।
- अन्य लोग इसे वास्तव में रोमांचक मानते हैं, क्योंकि यह symbolic compute को LLM “brain” के साथ कसकर जोड़ने का तरीका है।
निरंतर सीखना, वज़न फ्रीज़ करना, और मेमोरी
- इस पर चर्चा कि क्या आप मॉडल को training जारी रखते हुए इस CPU को intact रख सकते हैं।
- विचार: CPU-संबंधित वज़नों को freeze करना; ऐसे fine-tuning methods का उपयोग करना जो core capabilities को सुरक्षित रखने के लिए “unused” subspaces में काम करते हैं।
- चिंताएँ: भले ही कुछ layers frozen हों, अन्य layers में बदलाव CPU को access करना कठिन बना सकते हैं या उसे विश्वसनीय रूप से उपयोग करना मुश्किल कर सकते हैं।
- कुछ लोग इस architecture (CPU + RAM + filesystem in-weights) को continual learning और long-term memory के लिए एक संभावित दिशा मानते हैं।
अंतर्निर्मित गणना इकाइयाँ और संबंधित प्रयोग
- कई प्रतिभागी model के बीच में reusable, frozen computation modules (जैसे FFTs, math ops, solvers, knowledge graphs) embedded देखने में रुचि रखते हैं, जिन्हें network अंदर से call करना सीखता है।
- पूर्व और समानांतर कार्यों का उल्लेख किया गया: ऐसे transformers जो WASM execute करते हैं, custom tiny networks जो Doom चला सकते हैं, lattice-deduction-style networks, और AdderBoard-जैसे hand-crafted transformers।
व्याख्येयता, steering, और सुरक्षा
- “evil mode” और LLMs में single-neuron या direction-based steering पर एक side thread; हाल के interpretability work और monosemantic concepts से संबंध जोड़े गए।
- कुछ लोग चिंता जताते हैं कि ऐसे साफ़ “switches” और open weights हानिकारक variants बनाने की बाधा कम कर देते हैं।
- मज़ाक और अर्ध-गंभीर टिप्पणियाँ misaligned agents, internal RAM/filesystems में behavior छिपाने, और इस तरह की capability के intelligence agencies द्वारा चाहने को लेकर की गईं।
सीमाएँ और आलोचनाएँ
- टिप्पणीकारों ने नोट किया कि एक custom host runtime फिर भी firmware लोड करता है, कौन-सी layers चलेंगी यह नियंत्रित करता है, और tool-like calls को internally route करता है, इसलिए “no external runtime” को कुछ हद तक अतिरंजित माना गया।
- कुछ math benchmarks पर accuracy पूर्ण नहीं है, जिससे यह सवाल उठता है कि एक ऐसे CPU का क्या मूल्य है जो हमेशा सही गणना नहीं करता।
- कुल मिलाकर प्रतिक्रिया में चतुराई के लिए प्रशंसा और व्यावहारिक उपयोगिता व दक्षता पर संदेह दोनों शामिल हैं।