Show HN: Skyvern – Automação de navegador usando LLMs e visão computacional

Casos de Uso Gerais e Posicionamento

• A ferramenta é vista como um sistema de automação de navegador / RPA baseado em LLM + visão, e não apenas como uma ferramenta de testes.
• Casos de uso destacados: preenchimento repetitivo de formulários (por exemplo, sites governamentais, cotações de seguro), entrada de dados em fluxos de trabalho corporativos, coleta de documentos fiscais e, potencialmente, testes de penetração e assistentes virtuais.
• Alguns veem o maior valor onde um pequeno número de fluxos de trabalho complexos é repetido em escala (por exemplo, contadores lidando com muitos clientes).

Custo, Desempenho e Arquitetura

• Estimativas atuais de custo: aproximadamente $0.05–$0.20 por página; um usuário teve alguns dólares gastos em pequenos experimentos, considerando isso “caro”.
• Reclamações de que chamar GPT-4V em cada etapa é caro e lento; vários sugerem usar LLMs apenas para descobrir seletores ou gerar scripts e, depois, reproduzir de forma barata.
• Os autores do projeto mencionam: limites máximos de etapas, visibilidade do custo por etapa, futuro “memorization/caching” de fluxos de trabalho e um roteador de LLM com suporte para modelos como Claude 3 e LLaMA local.
• Tecnicamente, ele combina análise de DOM com visão e heurísticas, em vez de abordagens puramente baseadas em pixels, que são relatadas como não confiáveis.

Spam, Abuso e CAPTCHAs

• Forte preocupação de que ferramentas como esta ampliem botting e spam (formulários, votação, teste de cartão de crédito).
• CAPTCHAs já são frequentemente contornados por meio de humanos baratos no loop ou IA; este projeto consegue resolver alguns CAPTCHAs, mas essa parte não é open-sourced e é “gated” pelo caso de uso.
• Mitigações propostas discutidas: cobrar dinheiro/verificação por cartão de crédito, onboarding manual e até tokens de identidade limitados por taxa no estilo eID — embora alguns argumentem que o vínculo de identidade não resolve spam.

Impacto na Web, APIs e Empregos

• Alguns temem uma corrida armamentista de gato e rato: mais DRM, medidas anti-bot, UIs que não podem ser capturadas por screenshot e uma web menos amigável para humanos ou acessibilidade.
• Outros enquadram isso como uma “API unificada”, em que agentes podem usar UIs existentes quando APIs formais estão ausentes, incluindo sites governamentais que não querem expor APIs.
• Há especulação de que essa automação acelerará a automação de trabalhos de back-office.

Testes, Scraping e Geração de Código

• Várias pessoas querem isso para testes frontend/e2e: afirmar condições, gerar código Cypress/Playwright/Selenium e produzir scrapers reutilizáveis.
• Uma sugestão recorrente: tratar o LLM como um “compilador” que gera código de automação ou um plano de ação, reexecutando-o apenas quando as UIs mudam, em vez de usar LLMs em runtime a cada execução.

Ética, Segurança e Licenciamento

• Preocupação séria com a automação de fluxos de trabalho de faturamento médico/EHR devido a fraude e perda de responsabilidade humana.
• Interesse em usá-lo defensivamente (por exemplo, fluxos de rotação de senha) e em estudar prompt-injection e modelos de segurança.
• O licenciamento AGPLv3 é um bloqueio para algumas empresas, apesar da valorização do código aberto.