Show HN: Fiz um app para usar IA local como ferramenta diária
O entusiasmo por um novo app de macOS que executa grandes modelos de linguagem localmente é temperado por dúvidas sobre valor, privacidade e abertura em comparação com ferramentas gratuitas ou de código aberto já existentes. Os comentaristas ponderam os trade-offs entre IA local e em nuvem — capacidade versus controle de dados —, pedem recursos como prompts de sistema, RAG sobre documentos pessoais, interfaces de voz e suporte a múltiplos provedores, e observam que a distribuição somente para Mac e de código fechado pela App Store limita tanto a confiança quanto o alcance. O tema mais amplo é se clientes nativos, polidos e pagos conseguem se justificar em um ecossistema já rico em alternativas multiplataforma e abertas baseadas em llama.cpp e backends semelhantes.
Escopo e Propósito do App
- App para macOS focado em LLMs locais como “ferramenta diária”.
- Suporta apenas Apple Silicon; Macs Intel não são suportados.
- Usa llama.cpp diretamente, não Ollama, e pode carregar modelos GGUF personalizados.
- Alguns usuários o veem como “Obsidian, mas com IA”, voltado para conhecimento pessoal e uso local, em vez de enterprise.
Modelos Online e Prompts de Sistema
- O app já suporta GPT‑3.5/4 via a própria chave de API do usuário; mais configurabilidade (URLs base e nomes de modelo personalizados) está planejada.
- Vários comentaristas pedem um tratamento mais rico para prompts de sistema, múltiplos prompts por chat e personagens/perfis.
- Há debate sobre quão essenciais os prompts de sistema são: alguns dizem que são críticos para a qualidade da saída; outros quase nunca os usam.
Privacidade, Abertura e Confiança
- Há forte interesse de usuários que valorizam privacidade e descentralização acima de provedores centralizados.
- Alguns argumentam que privacidade real exige frontends e modelos de código aberto; apps de código fechado (incluindo este) são vistos com ceticismo.
- Há preocupação de que a distribuição pela App Store ainda exija confiar na Apple e de que apps “locais” possam exfiltrar dados.
- Pedidos por garantias claras de privacidade, promessas de uso apenas local e possivelmente distribuição fora da App Store.
RAG e Integração com Dados Pessoais
- Alta demanda por IA local que possa buscar/resumir documentos pessoais, favoritos, histórico do navegador, e-mail e arquivos.
- Usuários mencionam ferramentas de RAG já existentes e querem que este app suporte pastas de arquivos markdown/txt/PDF com RAG sensato.
- Há certo ceticismo sobre a praticidade de IA local para dados pessoais, já que muito desse conteúdo está em serviços na nuvem protegidos por políticas de OAuth/API.
Recursos, UX e Acessibilidade
- Recursos solicitados: speech-to-text/text-to-speech, conversas com ramificações/editáveis, atalhos de teclado, integração com Shortcuts/CLI, geração de imagens e melhor onboarding/guia de modelos.
- Feedback entusiasmado sobre simplicidade, design e “sensação” do app; alguns usuários compraram imediatamente.
- Outros questionam o que ele faz melhor do que UIs gratuitas/open source (por exemplo, ChatbotUI, Open-WebUI, LM Studio).
- Um tópico detalha problemas de acessibilidade (botões sem rótulo, ausência de regiões ao vivo) e sugere melhorias específicas para leitores de tela.
Plataforma e Alternativas
- Não há planos imediatos para versões Windows ou Linux; sugestões direcionam usuários de Windows/Linux para outras UIs locais de LLM e ferramentas CLI.
- Alguns ficam decepcionados com as limitações de plataforma e a falta de teste grátis, mas vários usuários consideram o preço de US$ 10 justo para uma experiência nativa refinada.