Launch HN: Danswer (YC W24) – Pesquisa e chat de IA de código aberto sobre dados privados
Um projeto de código aberto chamado Danswer pretende oferecer pesquisa e chat com IA sobre o conhecimento privado de uma empresa, agregando conteúdo de ferramentas como Slack, Google Drive, Confluence, GitHub e mais. Os comentaristas investigam como ele lida com a qualidade de recuperação, controle de acesso, suporte multilíngue e sincronização incremental em escala, e o contrastam tanto com protótipos internos de RAG quanto com ofertas comerciais como Microsoft Copilot ou Glean. Os fundadores posicionam abertura, auto-hospedagem, conectores extensíveis e foco na qualidade de recuperação como sua principal vantagem, monetizando por meio de uma versão paga na nuvem e recursos avançados para empresas.
Foco do Produto e Diferenciação
- Posicionado como uma “pesquisa unificada + chat de IA” focada em equipes, de código aberto, sobre dados privados da empresa, e não apenas uma interface parecida com o ChatGPT.
- Ênfase na metade de recuperação do RAG: conectores para ferramentas como Notion, Confluence, Jira, Slack, Google Drive, GitHub/GitLab, etc., atualizações incrementais, metadados e controle de acesso.
- Comparado com alternativas (OpenWebUI, Glean, dust, Vectara, privateGPT, Copilot): Danswer enfatiza código aberto, auto-hospedagem, recuperação forte e agregação de múltiplas fontes; os outros são vistos como mais proprietários, mais restritos ou mais orientados a “assistente/agente”.
Código Aberto, Modelo de Negócio e Moat
- O núcleo é licenciado sob MIT; a nuvem paga e alguns recursos avançados de empresa (por exemplo, SAML/OIDC, encontrar especialistas, RBAC avançado) são proprietários.
- Estratégia: conquistar equipes pequenas e médias que são ignoradas por fornecedores SaaS de alto toque, e atrair grandes organizações que querem transparência, personalização e auto-hospedagem.
- Concorrência da FAANG/Copilot é reconhecida, mas os fundadores acreditam que OSS + comunidade + flexibilidade é um ângulo defensável.
Arquitetura, Modelos e Qualidade de Recuperação
- Usa Vespa como banco vetorial + mecanismo de busca; busca híbrida (palavras-chave + embeddings), modelos locais de ~100 milhões de parâmetros em CPU para embeddings/rerankers, LLM padrão da OpenAI, mas com modelos pluggable/de pesos abertos (incluindo via Ollama).
- O pipeline de RAG inclui fragmentação sensível ao contexto (com uso limitado do LlamaIndex), passes em múltiplas granularidades, reclassificação baseada em feedback e decaimento baseado em tempo.
- Abordagem nova de reranking: usar um LLM para julgar se os trechos são “úteis”, e não apenas “relevantes”, alegando resultados melhores do que cross-encoders padrão.
Segurança, Privacidade e Controle de Acesso
- Múltiplas opções de autenticação (básica, Google OAuth; OIDC/SAML na camada paga). Inscrições com restrição por domínio são suportadas.
- RBAC atualmente no nível do conector; trabalho em andamento para sincronizar permissões granulares das fontes (Google Drive, Confluence, Jira, Notion, pertencimento a canais do Slack).
- Para SaaS, administradores podem acessar dados sob acordo; para auto-hospedado, administradores de infraestrutura normalmente já têm acesso aos sistemas de origem. Ambientes air-gapped com LLMs locais são possíveis.
Limitações, Roadmap e Casos de Uso
- Lacunas atuais: ainda não há busca completa por código (apenas PRs/issues), tratamento básico de planilhas e PDFs, sem OCR ou compreensão rica de tabelas/gráficos; isso está no roadmap.
- Ingestão em tempo real/streaming está parcialmente preparada, mas em grande parte sem uso devido a limites das APIs das fontes.
- Forte interesse e feedback positivo de equipes com busca interna dolorosa, especialmente consultoria e empresa/governo; alguma desconfiança sobre a profundidade de raciocínio dos LLMs, UX em torno de canais privados e exploração de conhecimento em contexto longo.