Redis के निर्माता से; ds4 के साथ LLM को लोकल चलाएँ

मूल लेख ↗ Hacker News चर्चा ↗

एक नया C-आधारित LLM inference engine, ds4 (“DwarfStar”), DeepSeek V4 Flash और Qwen 3.8 जैसे बड़े MoE मॉडल्स के एक संकीर्ण सेट को target करता है, खासकर 96–128 GB Apple Silicon Macs और x090 GPUs जैसे high-end consumer hardware पर। Commenters इसके मजबूत defaults, aggressive performance optimizations, long-context support, और SSD streaming को llama.cpp और Ollama जैसे अधिक generic runners पर फ़ायदा मानते हैं, जबकि अन्य लोग ds4go जैसे ecosystem tools और इससे प्रेरित छोटे projects की ओर इशारा करते हैं। इसके flashy marketing site, C को Rust और भारी AI-generated code पर चुनने, और क्या यह दृष्टिकोण serious development work के लिए शक्तिशाली, पूरी तरह local “frontier-like” models की ओर व्यापक बदलाव का संकेत है, इस पर भी बहस है.

प्रोजेक्ट का फोकस और डिज़ाइन दर्शन

  • ds4 एक छोटा, native inference engine है जो कुछ बड़े MoE मॉडल्स (DeepSeek V4/4.1 Flash, GLM 5.x, Qwen3.8 Flash Next) पर केंद्रित है, और उन्हें हर चीज़ का समर्थन करने की कोशिश करने के बजाय उनके लिए गहराई से optimized करता है।
  • ज़ोर “frontier-ish” लोकल मॉडल्स, लंबे context (tricks के साथ लगभग 1M तक), और अच्छे tool/agent सपोर्ट पर है, न कि व्यापक model coverage पर।
  • इस project को स्पष्ट रूप से बड़े use cases के लिए एक “working template” के रूप में पेश किया गया है, जिसे दूसरे fork करके specialize कर सकते हैं।

Hardware targets और performance

  • प्राथमिक फोकस high-end consumer hardware पर है: 96–128GB RAM वाला Apple Silicon, DGX Spark, और नए high-end GPUs।
  • SSD streaming का उपयोग बहुत बड़े मॉडल fit करने या 64GB/96GB machines पर चलाने के लिए किया जाता है, लेकिन कुछ लोगों के अनुसार Qwen3.8 Flash Next के लिए वास्तविक रूप से 128GB की आवश्यकता होती है।
  • Users M5 Max 128GB पर strong performance (तेज़ tokens, लंबा context) और आने वाले M5U systems के लिए उत्साह की रिपोर्ट करते हैं।
  • अलग प्रयास: Intel Xe-LP iGPUs के लिए एक Gemma-4 MoE engine, जिसमें Intel Ultra 7 laptop पर लगभग 22 tokens/s रिपोर्ट किए गए हैं।

अन्य runners से तुलना

  • कुछ लोग ds4 को llama.cpp का vibe-coded clone मानते हैं; दूसरे तर्क देते हैं कि इसका मूल्य vetted defaults और व्यापक configuration matrix के बजाय संकीर्ण, अत्यधिक tuned support है।
  • इसकी तुलना सामान्य tools (llama.cpp, Ollama) से की जाती है, जो performance के मामले में बराबरी कर सकते हैं, लेकिन अक्सर intensive tuning की आवश्यकता होती है।
  • manual config की बजाय automatic hardware-specific benchmarking को बेहतर approach मानने पर चर्चा होती है।

Ecosystem और tooling

  • एक fork ds4 को shared libraries के रूप में Go bindings के साथ expose करता है, साथ ही एक TUI और tools (workspace, scratchpad, OpenAI-like API, MCP/tool-calling setups) भी देता है।
  • एक और project पुराने Intel GPUs को target करता है; commenters पहले दर्जे के Intel और बेहतर AMD support की इच्छा जताते हैं। कुछ experimental ROCm activity भी है।

Language choice और AI-assisted development

  • core C में लिखा गया है। इसके कारण बताए गए हैं: लेखक की familiarity, simplicity, performance, और यह कि मौजूदा LLMs Rust की तुलना में C generate करने में बेहतर हैं।
  • अन्य लोग तर्क देते हैं कि Rust high-performance, low-level, multithreaded code के लिए बहुत उपयुक्त है और कुछ domains में C से बेहतर प्रदर्शन कर सकता है।
  • इस पर बहस है कि Rust की सख्त semantics AI-assisted workflows को मदद करती हैं या बाधित करती हैं।

आलोचनाएँ, संदेह, और UX

  • कुछ लोग marketing-heavy landing page को “slop” कहते हुए criticise करते हैं और minimal GitHub README को पसंद करते हैं।
  • लेखक के पिछले काम (जैसे Redis और distributed systems से जुड़ी बहसें) पर मिश्रित राय के कारण कुछ लोग इस association को चेतावनी की तरह देखते हैं।
  • आलोचना के बावजूद, कई लोग ds4 को लेकर उत्साहित हैं, क्योंकि यह संकेत देता है कि गंभीर engineers local inference को आगे बढ़ा रहे हैं।