Show HN: Skyvern – Automatización de navegador usando LLMs y visión por computadora

Casos de uso generales y posicionamiento

• La herramienta se percibe como un sistema de automatización de navegador / RPA basado en LLM + visión, no solo como una herramienta de pruebas.
• Casos de uso destacados: rellenado repetitivo de formularios (p. ej., sitios gubernamentales, cotizaciones de seguros), entrada de datos en flujos de trabajo empresariales, recopilación de documentos fiscales y, potencialmente, pentesting y asistentes virtuales.
• Algunos ven el mayor valor donde un pequeño número de flujos de trabajo complejos se repiten a gran escala (p. ej., contables gestionando muchos clientes).

Coste, rendimiento y arquitectura

• Estimaciones de coste actuales: aproximadamente $0.05–$0.20 por página; un usuario incurrió en unos pocos dólares en pequeños experimentos, encontrándolo “caro”.
• Quejas de que llamar a GPT-4V en cada paso es caro y lento; varios sugieren usar LLMs solo para descubrir selectores o generar scripts, y luego reproducirlos de forma barata.
• Los autores del proyecto mencionan: límites de pasos máximos, visibilidad del coste por paso, futura “memorización/caché” de flujos de trabajo y un enrutador de LLM con soporte para modelos como Claude 3 y LLaMA local.
• Técnicamente, combina análisis del DOM con visión y heurísticas en lugar de enfoques puramente basados en píxeles, que se reportan como poco fiables.

Spam, abuso y CAPTCHAs

• Hay una fuerte preocupación de que herramientas como esta intensifiquen el botting y el spam (formularios, votaciones, pruebas de tarjetas de crédito).
• Los CAPTCHAs ya suelen eludirse mediante intervención humana barata o IA; este proyecto puede resolver algunos CAPTCHAs, pero esa parte no es de código abierto y está “restringida” por el caso de uso.
• Se discutieron mitigaciones propuestas: cobrar dinero/verificación con tarjeta de crédito, incorporación manual e incluso tokens de identidad con estilo eID y limitados por tasa; aunque algunos argumentan que vincular la identidad no resuelve el spam.

Impacto en la web, las APIs y los empleos

• Algunos temen una carrera armamentística de gato y ratón: más DRM, medidas anti-bot, UIs imposibles de capturar y una web menos amigable para los humanos o la accesibilidad.
• Otros lo presentan como una “API unificada” donde los agentes pueden usar las UIs existentes cuando faltan APIs formales, incluidos sitios gubernamentales que no quieren exponer APIs.
• Se especula que esta automatización acelerará la automatización de trabajos de back office.

Pruebas, scraping y generación de código

• Varias personas quieren esto para pruebas frontend/e2e: afirmar condiciones, generar código Cypress/Playwright/Selenium y producir scrapers reutilizables.
• Una sugerencia recurrente: tratar al LLM como un “compilador” que produce código de automatización o un plan de acciones, y volver a ejecutarlo solo cuando las UIs cambien, en lugar de usar LLMs en tiempo de ejecución en cada ejecución.

Ética, seguridad y licencias

• Preocupación seria por automatizar flujos de trabajo de facturación médica/EHR debido al fraude y a la pérdida de responsabilidad humana.
• Interés en usarlo de forma defensiva (p. ej., flujos de rotación de contraseñas) y en estudiar la inyección de prompts y los modelos de seguridad.
• La licencia AGPLv3 es un obstáculo para algunas empresas, a pesar de apreciar que sea de código abierto.