Launch HN: Momentic (YC W24) – ऐसे एजेंट जो आपके ऐप का उपयोग करके बग पकड़ते हैं
AI-संचालित QA एजेंट जो सक्रिय रूप से web और mobile apps का उपयोग करके bugs खोजते हैं, वे उत्सुकता और संदेह दोनों पैदा कर रहे हैं। टिप्पणीकार Momentic के higher bug recall के दावों की generic LLM agents से तुलना करते हुए cost per bug, vendor lock-in, determinism, और frontier models के बेहतर होने पर custom “harnesses” कितनी जल्दी commoditize होंगे, इस पर सवाल उठाते हैं। कई लोग automated exploratory testing और natural-language E2E tests में मूल्य देखते हैं, लेकिन closed-source infrastructure, onboarding UX, और क्या टीमें open, self-hosted tools अपनाना चाहेंगी या अपनी मौजूदा LLM subscriptions जोड़ना चाहेंगी, इस पर चिंता जताते हैं.
मूल्य निर्धारण, टोकन, और “अपना खुद का” मॉडल
- कई टिप्पणीकारों को एक और ऐसा SaaS पसंद नहीं आता जो LLM उपयोग के लिए शुल्क लेता है, बजाय इसके कि उपयोगकर्ताओं को अपनी API keys / subscriptions जोड़ने दे।
- “अपनी key/agent साथ लाओ” को आदर्श बताया गया ताकि मौजूदा Claude/GPT subscriptions का पुनः उपयोग किया जा सके।
- संस्थापकों का कहना है कि उन्होंने BYOK/BYOA पर प्रयोग किए, लेकिन off-the-shelf मॉडल कमज़ोर रहे; custom-tuned agents मौजूदा उत्पाद का मुख्य हिस्सा हैं, हालांकि लंबे समय में BYOK को पूरी तरह नकारा नहीं गया है।
Moat, प्रतिस्पर्धा, और Frontier Models
- कई लोगों का तर्क है कि moat बहुत कम है: frontier models और generic agents जल्द ही इन क्षमताओं तक पहुँच जाएंगे, जिससे एक अलग SaaS कमज़ोर हो जाता है।
- अन्य लोग जवाब देते हैं कि architecture, harnesses, durable context, और infra, base models के बेहतर होने के बावजूद भी मूल्यवान रह सकते हैं।
- open-source tools और internal DIY harnesses को भी विश्वसनीय विकल्प बताया गया है, खासकर लागत-संवेदनशील या self-hosting टीमों के लिए।
मौजूदा QA और Coding Agents के मुकाबले स्थिति
- उत्पाद को पूरी तरह स्वचालित exploratory testing / UAT के रूप में पेश किया गया है, जो live apps (web, mobile, जल्द ही desktop) पर चलता है और bug recall पर ध्यान देता है।
- एक regression product भी है जो repository में संग्रहीत natural-language tests का उपयोग करता है; lock-in मौजूद है, लेकिन plain English formats से कुछ हद तक कम हो जाता है।
- यह टूल devs, QA, PMs, और leadership के लिए है; यह CLI के ज़रिए अन्य coding agents के साथ integrate करता है, उन्हें replace करने के बजाय।
Benchmarks, Metrics, और “Cost per Bug” को लेकर भ्रम
- benchmark claims में Codex, Claude Code, Devin, आदि की तुलना में higher bug recall बताया गया है, लेकिन Codex की तुलना में cost per bug अधिक है।
- कई पाठकों को यह लेखन भ्रमित करने वाला लगता है और वे इसे Codex के लिए बेहतर ad मानते हैं; अन्य का तर्क है कि QA में cost या precision की तुलना में recall अधिक महत्वपूर्ण है।
- अतिरिक्त metrics में रुचि है: false negatives (silent passes), bugs की severity, “unsure” outcomes, human baselines, और neutral / third-party benchmarks।
- methodology पर प्रश्न शामिल हैं: क्या bugs पहले से लगाए गए थे, human review कैसे की गई, और non-reproducible findings को कैसे संभाला गया।
UX, Onboarding, और Privacy संबंधी चिंताएँ
- उपयोगकर्ताओं ने confusing UI states की रिपोर्ट की है (bug counts बनाम “no bugs yet”), “stop testing” controls के देर से या गायब होने, सरल exports की कमी, और auth setup को लेकर friction की।
- emails से बिना स्पष्ट सहमति के auto-creating Slack connections की आलोचना की गई है।
Mobile, Infra, और तकनीकी विवरण (आंशिक रूप से अस्पष्ट)
- इन बातों पर प्रश्न उठे: real devices बनाम simulators, specific iOS versions के लिए support (कुछ जल्दी जोड़ दिए गए), retry loops को कैसे संभाला जाता है, network traffic तक पहुँच, और mobile bug visibility की गहराई; इनमें से कई विवरण thread में अस्पष्ट ही बने रहते हैं।