Show HN：Skyvern – 使用 LLM 和计算机视觉进行浏览器自动化

原文 ↗ Hacker News 讨论 ↗

总体用例与定位

  • 该工具被视为一个基于 LLM + 视觉的浏览器自动化 / RPA 系统，而不只是测试工具。
  • 突出的用例包括：重复性表单填写（例如政府网站、保险报价）、企业工作流中的数据录入、收集税务文件，以及潜在的渗透测试和虚拟助手。
  • 有些人认为，它在少量复杂工作流需要大规模重复执行的场景中价值最大（例如会计师处理许多客户）。

成本、性能与架构

  • 当前成本估算大约为每页 $0.05–$0.20；一位用户在小规模实验中花了几美元，觉得“很贵”。
  • 有人抱怨在每一步都调用 GPT‑4V 成本高且速度慢；几位用户建议只用 LLM 来发现选择器或生成脚本，然后以低成本回放。
  • 项目作者提到：最大步数限制、每步成本可见性、未来对工作流的“记忆/缓存”，以及一个支持 Claude 3 和本地 LLaMA 等模型的 LLM 路由器。
  • 从技术上说，它结合了 DOM 解析、视觉和启发式方法，而不是纯像素级方法；后者被认为不可靠。

垃圾信息、滥用与 CAPTCHA

  • 很多人担心这类工具会升级机器人刷量和垃圾信息（表单、投票、信用卡测试）。
  • CAPTCHA 其实已经常常被廉价的人机协作或 AI 绕过；这个项目也能解决部分 CAPTCHA，但这部分没有开源，并且会根据用例进行“门控”。
  • 讨论中提出的缓解措施包括：收费/信用卡验证、人工上手审核，甚至类似 eID 的限流身份令牌——不过也有人认为身份绑定并不能解决垃圾信息问题。

对 Web、API 和工作的影响

  • 一些人担心这会引发猫鼠游戏式竞赛：更多 DRM、反机器人措施、不可截图的 UI，以及对人类或无障碍更不友好的 Web。
  • 另一些人把它视为一种“统一 API”，即当正式 API 缺失时，代理可以使用现有 UI，包括那些不想暴露 API 的政府网站。
  • 也有人猜测，这种自动化会加速后台工作的自动化。

测试、抓取与代码生成

  • 很多人希望把它用于前端/e2e 测试：断言条件、生成 Cypress/Playwright/Selenium 代码，以及生成可复用的抓取器。
  • 一个反复出现的建议是：把 LLM 当作“编译器”，输出自动化代码或动作计划，仅在 UI 变化时重新运行它，而不是在每次运行时都在运行期使用 LLM。

伦理、安全与许可

  • 对自动化医疗计费/EHR 工作流有严重担忧，因为这可能带来欺诈以及失去人工问责。
  • 也有人有兴趣将其用于防御用途（例如密码轮换流程）以及研究 prompt injection 和安全模型。
  • 尽管人们认可开源，AGPLv3 许可仍然是一些企业的障碍。