मैं छोटे और पुराने उपकरणों पर LLMs चलाने पर काम कर रहा हूँ

तेज़ी से बड़े होते language models को आश्चर्यजनक रूप से कमजोर और पुराने hardware—पहली पीढ़ी के iPads और TV boxes से लेकर routers, game consoles, और यहाँ तक कि vapes तक—पर चलाने के प्रयास अब एक तरह की “can it run Qwen?” engineering चुनौती बन रहे हैं। प्रतिभागी weight streaming, extreme quantization, और custom kernels जैसी तकनीकों का आदान-प्रदान कर रहे हैं, जबकि यह बहस भी जारी है कि क्या छोटे या अत्यधिक optimized models transcription, control systems, या regulated, offline workloads जैसे सीमित on-device कार्यों के लिए वास्तव में उपयोगी हो सकते हैं। कई लोग इस काम को demoscene-शैली के hobby और affordable, private AI की दिशा में एक रणनीतिक प्रयास—जो centralized data centers के बजाय ubiquitous low-end devices पर रह सके—दोनों के रूप में देखते हैं.

परियोजना के लक्ष्य और वर्तमान परिणाम

  • परियोजना का उद्देश्य बहुत सीमित या पुराने हार्डवेयर पर अपेक्षाकृत बड़े LLMs चलाना है (sub‑1 GB RAM, कोई matmul/SIMD नहीं)।
  • बताया गया: 16B मॉडल iPad Air 1st gen और Xiaomi TV box जैसे उपकरणों पर “काफी अच्छी” गति के साथ चल रहे हैं।
  • नए प्रयोगों में फोन पर 35B और यहाँ तक कि 80B मॉडल भी चलाने का दावा किया गया है, कुछ tokens/sec के साथ और आगे के optimization से ~10 tok/s का लक्ष्य।
  • मॉडल और kernels open source किए जा रहे हैं; modified models Hugging Face पर होस्ट किए गए हैं।

सुझाए गए target devices और “Can it run Qwen?”

  • कई प्रस्ताव: vapes, Playdate handheld, Raspberry Pi Zero/1/2/3/4, ESP32/ESP P4/S31, पुराने iPhones, thin clients, Dreamcast, Wii, PS2 dev kits, routers (जैसे WRT54G), printers, SGI/Sun boxes, 80386 PCs, FPGA boards.
  • भावना को क्लासिक “Can it run Doom?” से मिलाया गया; कुछ लोग “Can it run Qwen?” को नया meme सुझाते हैं।
  • समुदाय के कुछ सदस्य पहले से Wii, PS2, FPGA, Dreamcast, पुराने iBooks, और thin clients पर LLMs चलाने की रिपोर्ट कर रहे हैं।

तकनीकें और performance tricks

  • custom kernels, flash/disk/optical media से weights streaming, extreme quantization, और per-layer/partial loading approaches (जैसे per-layer embeddings, MoE-like routing) पर भारी ध्यान है।
  • FPGA work on-chip या DDR-bound LLMs दिखाता है; चर्चा DDR bandwidth limits तक पहुँचने की है।
  • optimizations के लिए automated “brute force” search पर ज़ोर है, अक्सर बड़े LLMs द्वारा guided (जैसे code generation के लिए)।

छोटे मॉडल कितने उपयोगी हैं

  • संशयवादी दृष्टिकोण: कई छोटे मॉडल अभी सामान्य कार्यों के लिए “बहुत dumb” हैं; अक्सर केवल novelty, खासकर बिना fine-tuning के।
  • प्रतिवाद: fine-tuned छोटे मॉडल (1–27B) सीमित domains (finance, legal, industrial control) में बहुत अच्छा प्रदर्शन कर सकते हैं और cost, deployment, तथा regulation में बड़े मॉडलों से बेहतर हो सकते हैं।
  • छोटे conversational/reasoning models (~6.5M params, ~30MB) का उल्लेख, जो clever harnesses के जरिए tool use और internal scripting करते हैं।
  • अन्य उपयोग: on-device speech recognition/generation, log parsing, regulated on-prem healthcare/HIPAA settings, edge IoT, standalone HVAC/industrial controllers।

प्रेरणाएँ और दर्शन

  • प्रेरणाओं में शामिल हैं: hardware frugality, e-waste का पुनः उपयोग, privacy/air-gapped deployment, सीमित संसाधनों वाले लोगों को सक्षम बनाना, और उस भविष्य का विरोध करना जहाँ केवल बड़ी कंपनियाँ विशाल models चलाएँ।
  • कुछ इसे “engineering fun” या demoscene-जैसा मानते हैं; अन्य इसे कई छोटे agents (“AI ants/bacteria/bees”) के distributed “AI societies” की नींव मानते हैं।
  • science education, corporate incentives, और संभावित सामाजिक प्रभावों पर संक्षिप्त बहसें भी हैं; विचार मिश्रित हैं और कभी-कभी विवादास्पद भी।