Show HN: मैंने एक ऐप बनाया है ताकि लोकल AI को डेली ड्राइवर के रूप में इस्तेमाल किया जा सके
एक नए macOS ऐप के प्रति उत्साह, जो large language models को लोकल रूप से चलाता है, value, privacy, और openness को लेकर मौजूद free या open-source tools की तुलना में सवालों से संतुलित है। Commenters local और cloud AI के बीच trade-offs (capability बनाम data control) पर विचार करते हैं, system prompts, personal documents पर RAG, speech interfaces, और multi-provider support जैसे फीचर्स मांगते हैं, और नोट करते हैं कि Mac-only, closed-source distribution via the App Store trust और reach दोनों को सीमित करती है। व्यापक विषय यह है कि क्या polished, paid native clients उस ecosystem में खुद को सही ठहरा सकते हैं जो पहले से llama.cpp और समान backends पर बने cross-platform, open alternatives से समृद्ध है।
ऐप का दायरा और उद्देश्य
- macOS ऐप जो लोकल LLMs को “daily driver” के रूप में केंद्र में रखता है।
- केवल Apple Silicon को सपोर्ट करता है; Intel Macs सपोर्टेड नहीं हैं।
- सीधे llama.cpp का उपयोग करता है, Ollama का नहीं, और कस्टम GGUF models लोड कर सकता है।
- कुछ उपयोगकर्ता इसे “Obsidian but with AI” मानते हैं, जो enterprise की बजाय personal knowledge और local use के लिए बनाया गया है।
ऑनलाइन मॉडल और सिस्टम प्रॉम्प्ट्स
- ऐप पहले से user’s own API key के जरिए GPT‑3.5/4 सपोर्ट करता है; आगे अधिक configurability (custom base URLs/model names) की योजना है।
- कई commenters richer system prompt handling, एक chat में multiple prompts, और character/profiles मांगते हैं।
- system prompts कितने जरूरी हैं, इस पर बहस है: कुछ लोग output quality के लिए इन्हें critical कहते हैं; अन्य लोग इन्हें शायद ही कभी उपयोग करते हैं।
प्राइवेसी, ओपननेस, और ट्रस्ट
- उन users से मजबूत रुचि, जो centralized providers की तुलना में privacy और decentralization को महत्व देते हैं।
- कुछ का तर्क है कि असली privacy के लिए open-source frontends और models जरूरी हैं; closed-source apps (इसमें यह ऐप भी शामिल है) को संदेह की नजर से देखा जाता है।
- चिंता है कि App Store distribution के लिए फिर भी Apple पर भरोसा करना पड़ता है और “local” apps डेटा exfiltrate कर सकती हैं।
- स्पष्ट privacy assurances, local-only guarantees, और संभवतः non–App Store distribution की मांग की गई है।
RAG और व्यक्तिगत डेटा इंटीग्रेशन
- local AI के लिए उच्च मांग है जो personal documents, bookmarks, browser history, email, और files को search/summarize कर सके।
- उपयोगकर्ता मौजूदा RAG tools का उल्लेख करते हैं और चाहते हैं कि यह ऐप folders of markdown/txt/PDFs को sensible RAG के साथ सपोर्ट करे।
- कुछ लोग local personal-data AI की व्यावहारिकता पर संदेह करते हैं, क्योंकि बहुत सा डेटा cloud services में होता है जो OAuth/API policies से gated है।
फीचर्स, UX, और एक्सेसिबिलिटी
- मांगे गए फीचर्स: speech-to-text/text-to-speech, branching/editable conversations, keyboard shortcuts, Shortcuts/CLI integration, image generation, और बेहतर onboarding/model guidance।
- सादगी, design, और ऐप के “feel” पर उत्साही प्रतिक्रिया; कुछ users ने तुरंत इसे खरीद लिया।
- अन्य लोग पूछते हैं कि यह free/open UIs (जैसे ChatbotUI, Open-WebUI, LM Studio) से बेहतर क्या करता है।
- एक thread में accessibility issues (unlabeled buttons, live regions की कमी) का विस्तार से उल्लेख है और screen readers के लिए विशिष्ट सुधार सुझाए गए हैं।
प्लेटफ़ॉर्म और विकल्प
- Windows या Linux versions के लिए फिलहाल कोई तत्काल योजना नहीं है; सुझाव Windows/Linux users को अन्य local LLM UIs और CLI tools की ओर भेजते हैं।
- platform limits और trial की कमी पर कुछ निराशा है, लेकिन कई users polished native-like experience के लिए $10 की कीमत को उचित मानते हैं।