Jamesob की स्थानीय रूप से SOTA LLMs चलाने की मार्गदर्शिका

मूल लेख ↗ Hacker News चर्चा ↗

स्थानीय रूप से state-of-the-art large language models चलाने में बढ़ती रुचि कठोर आर्थिक और तकनीकी वास्तविकताओं से टकरा रही है। टिप्पणीकर्ता privacy, control, और 24/7 availability के आकर्षण की तुलना multi‑GPU rigs की ऊँची लागत, aggressive quantization की समझौतों, और इस तथ्य से करते हैं कि $2–40K hardware अक्सर अपेक्षाकृत सस्ते cloud APIs से कमज़ोर प्रदर्शन करता है। कई लोग एक व्यावहारिक मध्य मार्ग की वकालत करते हैं: रोज़मर्रा के कार्यों के लिए साधारण local setups (single 24–32GB GPUs या high‑RAM Macs) और छोटे models का उपयोग करें, जबकि frontier‑level क्षमताओं के लिए किराये के GPUs या commercial services पर निर्भर रहें, जब तक hardware prices और model efficiency में सुधार न हो।

हार्डवेयर विकल्प और प्रदर्शन

  • लोकप्रिय “sweet spot” सेटअप:
    • एकल RTX 3090 / 4090 या समान (~24 GB VRAM) Qwen 3.6–27B/35B को 4–6 bit पर उपयोगी गति के साथ चलाने के लिए।
    • डुअल 3090s (~48 GB VRAM) को बहुत उच्च मेमोरी बैंडविड्थ और Qwen 27B पर अच्छे throughput के लिए सराहा गया।
    • 96–128 GB VRAM वाले बॉक्स (RTX 6000, OEM/Spark, Jetson, Arc B70) कई मॉडल या बड़े contexts चलाने के लिए उपयोग किए जाते हैं।
    • Apple M-series (विशेषकर M4/M5 Max 48–128 GB) सुविधाजनक unified-memory बॉक्स के रूप में देखे जाते हैं, लेकिन बड़े मॉडलों के लिए बड़े GPUs की तुलना में काफ़ी धीमे हैं।
  • Multi-GPU 4×/8× RTX 6000-श्रेणी के rigs REAP-pruned, भारी quantized GLM 5.2 NVFP4 को दर्जनों–100+ tok/s पर चला सकते हैं, लेकिन इनके लिए $40k–$100k+ और जटिल setup चाहिए।

अर्थशास्त्र: स्थानीय बनाम क्लाउड

  • कई लोगों का तर्क है कि बड़े local rigs आर्थिक रूप से अविवेकपूर्ण हैं, इनके मुकाबले:
    • $200/माह frontier-model subscriptions।
    • सस्ते per-token providers (DeepSeek, GLM, MiMo via OpenRouter, आदि)।
  • प्रतितर्क: local तब मूल्यवान है जब:
    • अत्यधिक data privacy / on-prem आवश्यकताएँ हों।
    • आप token costs के बिना 24/7 autonomous agents चाहते हों।
    • आप भविष्य की मूल्य-वृद्धि या service restrictions से बचाव करना चाहते हों।
  • सहमति: अधिकांश व्यक्तियों के लिए, अभी cloud का उपयोग करें; बड़ा hardware तभी खरीदें जब आपके पास पहले से GPUs हों, tinkering पसंद हो, या कड़ी constraints हों।

Model Quality, Quantization, और Context

  • Heavy quantization (Q4, REAP-pruned MOEs) व्यापक रूप से उपयोग की जाती है, लेकिन:
    • कई लोग लंबे-horizon coding / analysis में, अच्छे benchmarks के बावजूद, स्पष्ट degradation की रिपोर्ट करते हैं।
    • छोटे/chat कार्य अक्सर ठीक लगते हैं; गहरे, long-context workflows में त्रुटियाँ और looping बढ़ती दिखती हैं।
  • कुछ लोगों का कहना है कि आधुनिक sampling strategies (DRY, top-n-sigma, min_p, XTC) long-context और quantization समस्याओं को बहुत कम कर देती हैं; अन्य लोग अब भी संदेह करते हैं।
  • पूर्ण-precision frontier-scale models को स्थानीय रूप से चलाना फिलहाल अव्यावहारिक बताया जाता है (सैकड़ों GB–TB VRAM)।

उपयोग के मामले और Harnesses

  • Local LLMs की प्रशंसा की जाती है: privacy, token limits की अनुपस्थिति, offline काम, और Qwen/Gemma-स्केल models के साथ “काफ़ी अच्छे” coding, debugging, research, summarization, और KB maintenance के लिए।
  • परिष्कृत multi-agent “harnesses” (Pi, Vibe, Claude Code-style setups, custom orchestrators) छोटे models से अधिक निकाल सकते हैं, लेकिन complexity और security concerns जोड़ते हैं।

Speech-to-Text और सहायक मॉडल

  • Whisper को अब STT SOTA नहीं माना जाता; Parakeet v3 और Voxstral को अधिक accurate/faster बताया गया है।
  • Local STT + LLM assistants को modest VRAM पर व्यावहारिक माना जाता है।

सुरक्षा और Isolation

  • agents को sandbox करने की मजबूत सलाह दी जाती है (VMs, microVMs, OS sandboxes, SELinux, restricted FS access)।
  • GPU passthrough VMs को अधिक tricky माना जाता है; कुछ लोग LLM को host पर और agents को isolated guests में रखना पसंद करते हैं।