स्थानीय मॉडल चलाना अब अच्छा है

मूल लेख ↗ Hacker News चर्चा ↗

हार्डवेयर और वहनीयता

  • कई टिप्पणियाँ कहती हैं कि “local is good now” केवल तभी जब आपके पास गंभीर हार्डवेयर हो: 24–32 GB VRAM वाले GPUs, 64–128 GB RAM वाले Macs, या Strix Halo / DGX Spark-श्रेणी के बॉक्स।
  • दूसरों की आपत्ति है: 2–3k USD की मशीन दुनिया के बड़े हिस्से की पहुँच से बाहर है; कई डेवलपर्स के लिए $20–$200/माह का hosted model ज़्यादा सस्ता और सरल है।
  • इस पर बहस है कि laptops (खासकर thermally constrained ones) अच्छे विचार हैं या desktop/workstation या छोटे on‑prem servers बेहतर हैं।

वर्तमान स्थानीय मॉडलों की क्षमताएँ

  • Qwen 3.6 27B (dense) और 35B MoE, Gemma 4 (26B MoE, 31B dense), GLM 5.x, GPT‑OSS, Granite 4.1, आदि को “very capable” बताया गया है, और कई कार्यों में mid‑2025 frontier quality के क़रीब माना गया है।
  • उपयोगकर्ता commodity GPUs (जैसे 3090/4090/5090) और high‑RAM Macs पर 30–150+ tokens/s की रिपोर्ट करते हैं, खासकर MTP/speculative decoding और अच्छी quantization के साथ।
  • Diffusion-style LLMs (जैसे DiffusionGemma) कुछ लोगों को single-prompt speed के लिए प्रभावित करते हैं, लेकिन thread में शोधकर्ताओं का कहना है कि संभवतः वे scale नहीं करेंगे या quality में dense transformers की बराबरी नहीं करेंगे।

Coding और agent workflows

  • अनुभव में बड़ा विभाजन है: कुछ कहते हैं Qwen 3.6 27B/35B coding के लिए “good enough to daily-drive” हैं; दूसरे उन्हें non-toy codebases में Claude/GPT से काफ़ी पीछे पाते हैं।
  • स्थानीय मॉडल अक्सर इन चीज़ों में संघर्ष करते हैं:
    • Reliable tool calls और JSON output।
    • Large context workflows (सैकड़ों k tokens)।
    • Self-directed, long-horizon “vibe-coding”; वे अटक जाते हैं, loop करते हैं, या सूक्ष्म design errors करते हैं।
  • कई लोग सफल होते हैं:
    • Frontier models से plan बनवाकर local models से छोटे tasks execute करवाकर।
    • Prompts को बेहद specific रखकर और काम को tightly scope करके।
    • उन्हें “smart autocomplete / junior dev” मानकर, न कि autonomous architects के रूप में।

Harnesses, prompts और configuration

  • बार-बार उभरता विषय: harness का असर model जितना ही होता है। Pi, OpenCode, Hermes, custom CLIs, और सावधानी से tuned system prompts/AGENTS.md परिणामों को काफ़ी बदल देते हैं।
  • Quantization विवादास्पद है: 4-bit models को tool use के लिए “lobotomize” कर सकता है; कुछ लोग जहाँ संभव हो 5–6 bit या Q8 की वकालत करते हैं, खासकर MoE के लिए।
  • कई लोग चेतावनी देते हैं कि local setups में flags, quant schemes, context sizes, और templates के साथ काफ़ी tinkering चाहिए; अपेक्षाएँ उसी हिसाब से तय करनी चाहिए।

Cloud बनाम local economics और control

  • Pro-local तर्क:
    • कोई rate limits, rug-pulls, silent “nerfs,” या model deprecations नहीं।
    • बेहतर privacy और IP control; regulated या paranoid environments के लिए उपयोगी।
    • वर्तमान GPU scarcity को देखते हुए hardware लोगों की अपेक्षा से धीरे depreciate हो सकता है।
  • Pro-cloud तर्क:
    • Frontier models (Claude/GPT/DeepSeek) अभी भी complex coding और agentic work में स्पष्ट रूप से ज़्यादा बुद्धिमान हैं।
    • Hosted inference अधिकांश users के लिए hardware या maintenance burden के बिना सस्ता और तेज़ हो सकता है।
    • Businesses अक्सर “outsource the headache” करना पसंद करते हैं, भले ही on‑prem सस्ता पड़ सकता हो।

भविष्य का दृष्टिकोण

  • कई लोगों को उम्मीद है कि open/local models बेहतर architectures, quantization-aware training, और inference tricks के साथ सुधार जारी रखेंगे, लेकिन यह भी उम्मीद है कि frontier vendors scale पर आगे बने रहेंगे।
  • इनमें रुचि है:
    • टीमों के लिए on‑prem GPU appliances (जैसे “LLM in a closet”)।
    • Hybrid patterns: routine/private/low-latency work के लिए local, heavy planning या huge contexts के लिए cloud।
  • कुछ लोग इसे एक निर्णायक क्षण मानते हैं: local पहले से ही रोज़मर्रा के आश्चर्यजनक रूप से बड़े हिस्से के कार्यों के लिए “good enough” है, हालांकि अभी तक top cloud models का पूरा विकल्प नहीं है।