Launch HN: Momentic（YC W24）– 通过使用你的应用来发现 bug 的代理

原文 ↗ Hacker News 讨论 ↗

AI 驱动的 QA 代理会主动使用 Web 和移动应用来搜寻 bug，这一想法既引发兴趣也招致质疑。评论者围绕 Momentic 声称比通用 LLM 代理具有更高 bug 召回率展开讨论，质疑每个 bug 的成本、供应商锁定、确定性，以及随着前沿模型进步，定制 harness 会多快被商品化。许多人认可自动化探索式测试和自然语言端到端测试的价值，但也担心闭源基础设施、上手体验，以及团队是否更愿意采用开源、自托管工具，或直接接入自己现有的 LLM 订阅。

定价、Tokens，以及“自带”模型

  • 多位评论者不喜欢又一家按 LLM 使用量收费的 SaaS，而不是让用户接入自己的 API key / 订阅。
  • 有人建议“自带 key/agent”才是理想方案，这样现有的 Claude/GPT 订阅就能复用。
  • 创始人表示他们尝试过 BYOK/BYOA，但现成模型表现不佳；定制调优的代理是当前产品的核心，不过长期来看并未排除 BYOK。

护城河、竞争与前沿模型

  • 几位评论者认为几乎没有护城河：前沿模型和通用代理很快就会达到类似能力，使独立 SaaS 变得脆弱。
  • 也有人反驳说，即便基础模型在进步，架构、harness、持久化上下文和基础设施仍然有价值。
  • 开源工具和内部自研 harness 被视为可信的替代方案，尤其适合成本敏感或自托管团队。

相对于现有 QA 和编码代理的定位

  • 该产品被描述为完全自动化的探索式测试 / UAT，运行在真实应用上（Web、移动端，之后还会支持桌面端），重点是 bug 召回率。
  • 还有一个回归测试产品，使用存储在仓库中的自然语言测试；虽然存在锁定效应，但由于采用纯英文格式，某种程度上有所缓解。
  • 该工具面向开发者、QA、PM 和管理层；它通过 CLI 与其他编码代理集成，而不是取代它们。

基准测试、指标，以及“每个 bug 的成本”混淆

  • 基准结果声称其 bug 召回率高于 Codex、Claude Code、Devin 等，但每个 bug 的成本也高于 Codex。
  • 不少读者觉得这段说明令人困惑，并把它理解为给 Codex 做了更好的广告；也有人认为在 QA 中，召回率比成本或精确率更重要。
  • 大家对更多指标很感兴趣：漏报（静默通过）、bug 严重性、“不确定”结果、人工基线，以及中立 / 第三方基准。
  • 方法学问题包括：是否人为植入 bug、如何进行人工复核，以及如何处理不可复现的发现。

UX、上手流程与隐私担忧

  • 用户反馈 UI 状态令人困惑（bug 数量 vs “尚未发现 bug”）、缺少或过晚出现“停止测试”控制、缺少简单导出功能，以及认证设置带来的摩擦。
  • 还批评了从邮箱自动创建 Slack 连接却没有明确同意。

移动端、基础设施与技术细节（部分不清晰）

  • 有人提出关于以下方面的问题：真实设备还是模拟器、是否支持特定 iOS 版本（其中一些很快就加上了）、如何处理重试循环、是否能访问网络流量，以及移动端 bug 可见性的深度；线程中许多这些细节仍不清楚。