Lanzamiento HN: Momentic (YC W24) – Agentes que detectan errores usando tu app
Los agentes de QA impulsados por IA que usan activamente apps web y móviles para cazar errores están generando tanto interés como escepticismo. Los comentaristas cuestionan las afirmaciones de Momentic sobre un mayor recall de bugs frente a agentes LLM genéricos, y ponen en duda el coste por bug, el lock-in con el proveedor, la determinación y la rapidez con la que los “harnesses” personalizados se convertirán en commodities a medida que mejoren los modelos frontera. Muchos ven valor en las pruebas exploratorias automatizadas y en pruebas E2E en lenguaje natural, pero plantean preocupaciones sobre la infraestructura de código cerrado, la UX de onboarding y si los equipos preferirían adoptar herramientas abiertas y autoalojadas o conectar sus suscripciones LLM existentes.
Precios, tokens y modelos de “trae el tuyo”
- A varios comentaristas no les gusta que exista otra SaaS que cobre por el uso de LLM en lugar de permitir que los usuarios conecten sus propias claves / suscripciones de API.
- Se sugiere que “trae tu propia clave/agente” sería lo ideal para poder reutilizar suscripciones existentes de Claude/GPT.
- Los fundadores dicen que probaron BYOK/BYOA, pero los modelos estándar rindieron peor; los agentes ajustados a medida son parte central del producto actual, aunque no descartan BYOK a largo plazo.
Ventaja competitiva, competencia y modelos frontera
- Varios argumentan que hay poca ventaja competitiva: los modelos frontera y los agentes genéricos pronto igualarán estas capacidades, haciendo frágil una SaaS separada.
- Otros responden que la arquitectura, los harnesses, el contexto persistente y la infraestructura pueden seguir siendo valiosos incluso cuando mejoren los modelos base.
- Se citan herramientas de código abierto y harnesses internos hechos a medida como alternativas creíbles, especialmente para equipos sensibles al costo o que autoalojan.
Posicionamiento frente a agentes de QA y de coding existentes
- El producto se presenta como pruebas exploratorias totalmente automatizadas / UAT que se ejecutan sobre apps en vivo (web, móvil, pronto escritorio), con foco en el recall de bugs.
- También hay un producto de regresión que usa pruebas en lenguaje natural almacenadas en el repositorio; existe cierto lock-in, aunque se mitiga algo por formatos en inglés simple.
- La herramienta está pensada para devs, QA, PMs y liderazgo; se integra con otros agentes de coding vía CLI en lugar de reemplazarlos.
Benchmarks, métricas y confusión sobre “coste por bug”
- El benchmark afirma mayor recall de bugs que Codex, Claude Code, Devin, etc., pero con mayor coste por bug que Codex.
- Varios lectores encuentran la explicación confusa e interpretan que es mejor anuncio para Codex; otros sostienen que el recall importa más que el coste o la precisión en QA.
- Hay interés en métricas adicionales: falsos negativos (pasos en falso silenciosos), severidad de los bugs, resultados “no estoy seguro”, baselines humanos y benchmarks neutrales / de terceros.
- Las preguntas de metodología incluyen si se sembraron bugs, cómo se hizo la revisión humana y cómo se tratan los hallazgos no reproducibles.
UX, onboarding y preocupaciones de privacidad
- Los usuarios reportan estados de UI confusos (conteos de bugs vs “todavía no hay bugs”), controles de “detener pruebas” ausentes o tardíos, falta de exportaciones sencillas y fricción con la configuración de autenticación.
- Se critica la creación automática de conexiones de Slack a partir de correos electrónicos sin consentimiento claro.
Móvil, infraestructura y detalles técnicos (en parte poco claros)
- Se plantean preguntas sobre: dispositivos reales vs simuladores, soporte para versiones específicas de iOS (algunas se añadieron rápidamente), manejo de bucles de reintento, acceso al tráfico de red y profundidad de la visibilidad de bugs en móvil; muchos de estos detalles siguen sin quedar claros en el hilo.