Launch HN: Momentic (YC W24) – Agentes que encontram bugs usando seu app
Agentes de QA com IA que usam ativamente apps web e mobile para caçar bugs estão despertando tanto interesse quanto ceticismo. Comentadores examinam as alegações da Momentic de maior recall de bugs versus agentes genéricos de LLM, questionando o custo por bug, o lock-in do fornecedor, a determinismo e a rapidez com que “harnesses” personalizados serão comoditizados à medida que os modelos frontier melhorarem. Muitos veem valor em testes exploratórios automatizados e testes E2E em linguagem natural, mas levantam preocupações sobre infraestrutura de código fechado, UX de onboarding e se as equipes prefeririam adotar ferramentas abertas, self-hosted, ou conectar suas assinaturas existentes de LLM.
Preços, Tokens e Modelos “Bring Your Own”
- Vários comentaristas não gostam de mais um SaaS que cobra pelo uso de LLM em vez de deixar os usuários conectarem suas próprias chaves de API / assinaturas.
- “Bring your own key/agent” é sugerido como o ideal para que as assinaturas existentes de Claude/GPT possam ser reutilizadas.
- Os fundadores dizem que experimentaram BYOK/BYOA, mas os modelos prontos tiveram desempenho inferior; agentes ajustados sob medida são centrais para o produto atual, embora o BYOK não esteja descartado no longo prazo.
Moat, Concorrência e Modelos Frontier
- Vários argumentam que há pouco moat: modelos frontier e agentes genéricos em breve igualarão essas capacidades, tornando um SaaS separado frágil.
- Outros respondem que arquitetura, harnesses, contexto durável e infraestrutura ainda podem continuar valiosos mesmo com a melhora dos modelos base.
- Ferramentas open-source e harnesses DIY internos são citados como alternativas credíveis, especialmente para equipes sensíveis a custo ou que preferem self-hosting.
Posicionamento vs QA e Agentes de Código Existentes
- O produto é apresentado como teste exploratório totalmente automatizado / UAT que roda em apps reais (web, mobile, em breve desktop), com foco em recall de bugs.
- Há também um produto de regressão usando testes em linguagem natural armazenados no repositório; existe lock-in, mas ele é um pouco mitigado por formatos em inglês simples.
- A ferramenta é voltada para devs, QA, PMs e liderança; ela se integra a outros agentes de código via CLI em vez de substituí-los.
Benchmarks, Métricas e Confusão sobre “Custo por Bug”
- O benchmark afirma maior recall de bugs do que Codex, Claude Code, Devin etc., mas com custo por bug mais alto do que o Codex.
- Vários leitores acham o texto confuso e o interpretam como uma propaganda melhor para o Codex; outros argumentam que recall é mais importante do que custo ou precisão em QA.
- Há interesse em métricas adicionais: falsos negativos (passagens silenciosas), severidade dos bugs, resultados “não tenho certeza” ("unsure"), baselines humanos e benchmarks neutros / de terceiros.
- As perguntas de metodologia incluem se bugs foram plantados, como a revisão humana foi feita e como achados não reproduzíveis são tratados.
UX, Onboarding e Preocupações com Privacidade
- Usuários relatam estados de UI confusos (contagens de bugs vs “nenhum bug ainda”), controles “parar testes” ausentes ou tardios, falta de exportações simples e atrito na configuração de autenticação.
- A criação automática de conexões do Slack a partir de emails sem consentimento claro é criticada.
Mobile, Infra e Detalhes Técnicos (Em Parte Pouco Claros)
- Surgem perguntas sobre: dispositivos reais vs simuladores, suporte a versões específicas do iOS (algumas foram adicionadas rapidamente), tratamento de loops de retry, acesso ao tráfego de rede e profundidade da visibilidade de bugs em mobile; muitos desses detalhes permanecem pouco claros no thread.