मेरे स्मार्ट होम को नियंत्रित करने के लिए पूरी तरह स्थानीय LLM वॉइस असिस्टेंट बनाना

मूल लेख ↗ Hacker News चर्चा ↗

Home Assistant के लिए पूरी तरह स्थानीय, GLaDOS-थीम वाला वॉइस असिस्टेंट बनाने का एक विस्तृत home project privacy-preserving, cloud-free smart homes में व्यापक रुचि जगाता है। टिप्पणीकार Mixtral, Mistral, और TinyLlama जैसे local models की तुलना GPT‑4 से करते हैं, hardware needs, latency, quantization और GPU choices को cloud APIs की सुविधा के मुकाबले तौलते हुए। बातचीत का बड़ा हिस्सा इस पर केंद्रित है कि LLMs को वास्तविक devices को सुरक्षित रूप से कैसे नियंत्रित करने दिया जाए—constrained grammars, function-calling–style interfaces, और सख्त access controls का उपयोग करके—जबकि Home Assistant का roadmap भविष्य में local LLM automation और standardized APIs के built-in support का संकेत देता है।

प्रोजेक्ट का स्वागत और समान बिल्ड्स

  • कई टिप्पणीकार मिलते-जुलते स्थानीय वॉइस असिस्टेंट बना रहे हैं, अक्सर Home Assistant को हब के रूप में इस्तेमाल करते हुए।
  • कुछ लोग केवल स्थानीय मॉडल उपयोग करते हैं; अन्य पहले OpenAI/Mistral APIs के साथ प्रोटोटाइप बनाते हैं, फिर लक्ष्य स्थानीय होने का रखते हैं।
  • कई लोग Python या Home Assistant के साथ function calling और integration को सरल बनाने के लिए छोटे wrappers या libraries साझा करते हैं।

हार्डवेयर, प्रदर्शन और क्वांटाइज़ेशन

  • GPUs के उपयोग पर मजबूत ज़ोर: मुख्य bottleneck time-to-first-token है, खासकर full home state सहित बड़े prompts के साथ।
  • mid-range GPUs (जैसे 16 GB consumer cards) को VRAM-per-dollar और used datacenter cards की तुलना में कम power draw के लिए अच्छा माना जाता है, जो power supplies और UPSes पर दबाव डाल सकते हैं।
  • 4-bit quantization (GPTQ, AWQ) आम तौर पर उपयोग की जाती है; लोग Mixtral-जैसे models पर लगभग 17 tok/s को “usable लेकिन snappy नहीं” बताते हैं।
  • कुछ लोग experimentation के लिए 8–12 GB GPUs पर 7B–20B models या यहाँ तक कि CPU-only भी चलाते हैं।

मॉडल व्यवहार, grammars और structured output

  • कई टिप्पणियाँ grammars (llama.cpp में GBNF/BNF) या ऐसी libraries के उपयोग का सुझाव देती हैं जो output को valid JSON तक सीमित करती हैं, बजाय केवल prompt formatting पर निर्भर रहने के।
  • इस पर चर्चा है कि Mixtral में system prompts का अभाव क्या उसे prompt injection के प्रति अधिक vulnerable बनाता है; कुछ लोग fine-tuned variants या बेहतर “system” support वाले अन्य models सुझाते हैं।
  • लगभग 7B models की क्षमता पर बहस: कुछ उन्हें संकीर्ण कार्यों में GPT‑4 के करीब मानते हैं; अन्य जटिल, structured automation के लिए उन्हें अविश्वसनीय कहते हैं।

Home Assistant integration और भविष्य की दिशा

  • Home Assistant project LLM-based functionality ship करने का इरादा रखता है, लेकिन चाहता है:
    • एक अधिक समृद्ध, standardized local-LLM API (सिर्फ “OpenAI को copy” करने से आगे)।
    • मजबूत function-calling या constrained grammars ताकि JSON actions हमेशा सीधे सुरक्षित रूप से execute की जा सकें।
  • विचार: household behavior के लिए natural language में rulebooks, history से AI-suggested automations, और add-ons के माध्यम से local models के बीच one-click switching।
  • hardware requirements को लेकर चिंताएँ उठाई गईं; अन्य लोग नोट करते हैं कि HA modular है और LLMs/STT/TTS अलग, अधिक शक्तिशाली machines पर चल सकते हैं।

सुरक्षा, सुरक्षा-व्यवस्था और नेटवर्किंग

  • कई टिप्पणीकार ovens, locks, doors जैसी physical devices को LLMs द्वारा नियंत्रित किए जाने को लेकर चिंतित हैं। सुझाए गए mitigation:
    • outputs पर hard-coded safety checks।
    • LLM किन services/entities को call कर सकता है, इसे सीमित करना।
    • ACL/RBAC-जैसे controls, कभी-कभी undocumented HA APIs के माध्यम से।
  • कुछ लोगों को malicious या “sleeper” models का डर है; अन्य तर्क देते हैं कि असली जोखिम general IoT exposure है, विशेष रूप से LLMs नहीं।
  • Home Assistant को सीधे internet पर expose करना विवादास्पद है; कुछ लोग ऐसा WAFs/VLANs के पीछे करते हैं, लेकिन अधिकांश VPN/WireGuard को प्राथमिकता देते हैं।

वॉइस pipeline और UX

  • latency एक बार-बार उठने वाली चिंता है: speech से first reply तक 8+ seconds को व्यापक रूप से मुश्किल माना जाता है।
  • सुझाव:
    • सरल commands के लिए front-end grammar/intent rules।
    • frequent utterances और यहाँ तक कि TTS audio का caching।
    • शुरुआती “one moment” responses और response streaming to TTS।
  • wake-word और mic quality व्यावहारिक pain points बने हुए हैं; wake-word models और I2S mics वाले ESP32-S3 devices लोकप्रिय experiments हैं।