Show HN: Skyvern – LLMs और computer vision का उपयोग करके browser automation

Overall Use Cases and Positioning

• यह टूल केवल एक testing tool नहीं, बल्कि LLM + vision-based browser automation / RPA system के रूप में देखा जा रहा है।
• प्रमुख use cases: दोहराए जाने वाले form-filling (जैसे, सरकारी साइटें, insurance quotes), enterprise workflows में data entry, tax documents इकट्ठा करना, और संभावित रूप से pen-testing तथा virtual assistants।
• कुछ लोगों के अनुसार इसका सबसे मजबूत value वहाँ है जहाँ कुछ जटिल workflows बड़े scale पर दोहराए जाते हैं (जैसे, बहुत सारे clients संभालने वाले accountants)।

Cost, Performance, and Architecture

• वर्तमान cost estimates: लगभग $0.05–$0.20 प्रति page; एक user के छोटे experiments पर कुछ dollars खर्च हुए और उसे यह “pricey” लगा।
• शिकायतें कि हर step पर GPT-4V को call करना महंगा और धीमा है; कई लोगों ने सुझाव दिया कि LLMs का उपयोग केवल selectors खोजने या scripts generate करने के लिए किया जाए, फिर उन्हें सस्ते में replay किया जाए।
• Project authors ने mention किया: max-step limits, per-step cost visibility, workflows के लिए future “memorization/caching,” और Claude 3 तथा local LLaMA जैसे models के support वाला एक LLM router।
• तकनीकी रूप से, यह pure pixel-based approaches के बजाय DOM parsing को vision और heuristics के साथ combine करता है, जिन्हें unreliable बताया गया है।

Spam, Abuse, and CAPTCHAs

• इस बात को लेकर strong concern है कि ऐसे tools botting और spam (forms, voting, credit card testing) को बढ़ाएँगे।
• CAPTCHAs को पहले से ही अक्सर cheap human-in-the-loop या AI के जरिए bypass किया जाता है; यह project कुछ CAPTCHAs solve कर सकता है, लेकिन वह हिस्सा open-sourced नहीं है और use case के आधार पर “gated” है।
• Discuss की गई proposed mitigations: money/credit-card verification charge करना, manual onboarding, और यहाँ तक कि eID-style rate-limited identity tokens—हालाँकि कुछ लोगों का कहना है कि identity binding spam की समस्या हल नहीं करता।

Impact on the Web, APIs, and Jobs

• कुछ लोगों को cat-and-mouse arms race की आशंका है: और अधिक DRM, anti-bot measures, unscreenshotable UIs, और humans या accessibility के लिए कम friendly web।
• दूसरों ने इसे एक “unified API” के रूप में पेश किया, जहाँ agents formal APIs के अभाव में मौजूदा UIs का उपयोग कर सकते हैं, जिसमें ऐसी सरकारी साइटें भी शामिल हैं जो APIs expose नहीं करना चाहतीं।
• अटकल है कि ऐसी automation back-office job automation को तेज करेगी।

Testing, Scraping, and Code Generation

• कई लोग इसे frontend/e2e testing के लिए चाहते हैं: conditions assert करना, Cypress/Playwright/Selenium code generate करना, और reusable scrapers बनाना।
• एक बार-बार आने वाला सुझाव: LLM को एक “compiler” की तरह treat किया जाए जो automation code या action plan output करे, और UIs बदलने पर ही उसे फिर से run किया जाए, बजाय runtime पर हर run में LLMs का उपयोग करने के।

Ethics, Security, and Licensing

• medical billing/EHR workflows को automate करने को लेकर गंभीर चिंता है, क्योंकि इससे fraud और human accountability की हानि हो सकती है।
• इसका defensive उपयोग करने में रुचि है (जैसे, password rotation flows) और prompt-injection तथा security models का अध्ययन करने में भी।
• AGPLv3 licensing कुछ enterprises के लिए blocker है, हालांकि open-sourcing की सराहना की गई है।