Jamesob की स्थानीय रूप से SOTA LLMs चलाने की मार्गदर्शिका

मूल लेख ↗ Hacker News चर्चा ↗

हार्डवेयर विकल्प और प्रदर्शन

  • लोकप्रिय “sweet spot” सेटअप:
    • एकल RTX 3090 / 4090 या समान (~24 GB VRAM) Qwen 3.6–27B/35B को 4–6 bit पर उपयोगी गति के साथ चलाने के लिए।
    • डुअल 3090s (~48 GB VRAM) को बहुत उच्च मेमोरी बैंडविड्थ और Qwen 27B पर अच्छे throughput के लिए सराहा गया।
    • 96–128 GB VRAM वाले बॉक्स (RTX 6000, OEM/Spark, Jetson, Arc B70) कई मॉडल या बड़े contexts चलाने के लिए उपयोग किए जाते हैं।
    • Apple M-series (विशेषकर M4/M5 Max 48–128 GB) सुविधाजनक unified-memory बॉक्स के रूप में देखे जाते हैं, लेकिन बड़े मॉडलों के लिए बड़े GPUs की तुलना में काफ़ी धीमे हैं।
  • Multi-GPU 4×/8× RTX 6000-श्रेणी के rigs REAP-pruned, भारी quantized GLM 5.2 NVFP4 को दर्जनों–100+ tok/s पर चला सकते हैं, लेकिन इनके लिए $40k–$100k+ और जटिल setup चाहिए।

अर्थशास्त्र: स्थानीय बनाम क्लाउड

  • कई लोगों का तर्क है कि बड़े local rigs आर्थिक रूप से अविवेकपूर्ण हैं, इनके मुकाबले:
    • $200/माह frontier-model subscriptions।
    • सस्ते per-token providers (DeepSeek, GLM, MiMo via OpenRouter, आदि)।
  • प्रतितर्क: local तब मूल्यवान है जब:
    • अत्यधिक data privacy / on-prem आवश्यकताएँ हों।
    • आप token costs के बिना 24/7 autonomous agents चाहते हों।
    • आप भविष्य की मूल्य-वृद्धि या service restrictions से बचाव करना चाहते हों।
  • सहमति: अधिकांश व्यक्तियों के लिए, अभी cloud का उपयोग करें; बड़ा hardware तभी खरीदें जब आपके पास पहले से GPUs हों, tinkering पसंद हो, या कड़ी constraints हों।

Model Quality, Quantization, और Context

  • Heavy quantization (Q4, REAP-pruned MOEs) व्यापक रूप से उपयोग की जाती है, लेकिन:
    • कई लोग लंबे-horizon coding / analysis में, अच्छे benchmarks के बावजूद, स्पष्ट degradation की रिपोर्ट करते हैं।
    • छोटे/chat कार्य अक्सर ठीक लगते हैं; गहरे, long-context workflows में त्रुटियाँ और looping बढ़ती दिखती हैं।
  • कुछ लोगों का कहना है कि आधुनिक sampling strategies (DRY, top-n-sigma, min_p, XTC) long-context और quantization समस्याओं को बहुत कम कर देती हैं; अन्य लोग अब भी संदेह करते हैं।
  • पूर्ण-precision frontier-scale models को स्थानीय रूप से चलाना फिलहाल अव्यावहारिक बताया जाता है (सैकड़ों GB–TB VRAM)।

उपयोग के मामले और Harnesses

  • Local LLMs की प्रशंसा की जाती है: privacy, token limits की अनुपस्थिति, offline काम, और Qwen/Gemma-स्केल models के साथ “काफ़ी अच्छे” coding, debugging, research, summarization, और KB maintenance के लिए।
  • परिष्कृत multi-agent “harnesses” (Pi, Vibe, Claude Code-style setups, custom orchestrators) छोटे models से अधिक निकाल सकते हैं, लेकिन complexity और security concerns जोड़ते हैं।

Speech-to-Text और सहायक मॉडल

  • Whisper को अब STT SOTA नहीं माना जाता; Parakeet v3 और Voxstral को अधिक accurate/faster बताया गया है।
  • Local STT + LLM assistants को modest VRAM पर व्यावहारिक माना जाता है।

सुरक्षा और Isolation

  • agents को sandbox करने की मजबूत सलाह दी जाती है (VMs, microVMs, OS sandboxes, SELinux, restricted FS access)।
  • GPU passthrough VMs को अधिक tricky माना जाता है; कुछ लोग LLM को host पर और agents को isolated guests में रखना पसंद करते हैं।