Claude Code 团队如何看待验证
Anthropic 关于 Claude Code 团队如何“验证” AI 生成代码的博客文章,引发了不少质疑:评论者认为其过度依赖 agent、token 和自然语言 skills 文件,而不是更便宜、更确定性的传统测试、lint 工具和 Playwright。评论者质疑这种大规模、非确定性验证在经济和工程上的合理性,认为它会鼓励更糟糕的代码、易抖动的测试,以及对昂贵前沿模型的依赖。也有人反驳说,token 成本正在下降,agent 驱动的工作流已经能带来显著的生产力提升,但他们也承认,长期可维护性、可靠性以及真实世界的盈利能力仍是悬而未决的问题。
对这篇文章的总体反应
- 许多读者认为这篇文章层次较高、充满流行术语,把“基础测试实践”描述得像是新东西。
- 也有人认为它是对 AI 辅助 QA 的一个有用、简洁的概览,并表示这与他们在生产环境中成功采用的工作流相呼应。
- 还有几位批评把这称为“验证”,认为它主要描述的是测试和 agent 工作流,而不是形式化验证或正确性保证。
Token 成本、规模与“token maxxing”
- 一个主要讨论点是,这种方法默认拥有非常高或“实际上无限”的 token 预算。
- 来自企业的评论者表示他们每月已经花费数千美元;另一些人则反驳说,大公司在基础设施上的开销往往高得多,因此从经济上讲这是可以成立的。
- 有人认为 token 价格正在快速下降,现在看起来很贵的策略将来可能会变得很正常;也有人警告说,成本、限制以及环境影响仍然重要。
- 还有人怀疑,一个靠出售 token 盈利的供应商,是否真的会把 token 高效模式作为优先事项。
确定性测试与 AI 驱动测试
- 一派强烈认为,许多提议的基于 agent 的检查,其实是在重复确定性工具已经更便宜、更可靠地完成的事情(Playwright、静态分析、基于属性的测试、fuzzer、端到端测试套件)。
- 也有人担心把非确定性、易抖动的 AI 检查引入 CI;相比之下,先用 AI 生成确定性的测试或工具,再重复使用,会更合理。
- 反方观点是:自然语言不变量更容易表达,并且在重构后仍然稳定,因此用 AI agent 去检查它们,可能比脆弱、强耦合代码的测试更灵活。
Claude Code 本身的质量与可靠性
- 一些人反馈桌面应用现在已经很强大,而且对“agentic development”很有效。
- 也有人把 Claude Code 描述为有 bug、笨拙、占用大量内存,GitHub 问题很多且功能不稳定,并认为这削弱了它关于验证严谨性的任何主张。
AI 开发哲学与风险
- 围绕大量 PR 以及主要由 agent 编写的代码展开争论:有人认为这就是“软件工厂”的未来,另一些人则认为这类代码无法审查,只会把负担转移到手工 UAT 和长期维护上。
- 普遍担忧 AI 会写出仅仅编码了自身 bug 的测试。
- 还有几位强调,难点不在于“它能不能运行”,而在于“它是否构建了正确的东西”,而当前基于 agent 的验证并没有令人信服地解决这一点。