Show HN: Deja que tus agentes de IA pinten flechas grandes, cajas y texto en tu pantalla
Una pequeña herramienta para macOS que permite a agentes de IA dibujar flechas, cajas y texto sobredimensionados en la pantalla para indicar a los usuarios dónde hacer clic está generando reacciones mixtas. Sus partidarios la ven como una ayuda práctica para la incorporación, aplicaciones complejas como Blender, soporte técnico remoto, accesibilidad y flujos de trabajo con agente y humano en el bucle, donde una IA puede guiar en lugar de automatizar por completo las acciones. Los críticos argumentan que ejemplifica la “bazofia de IA” derrochadora, plantea preocupaciones sobre seguridad, manipulación y dependencia excesiva de modelos en la nube, y refleja lo enrevesada que se ha vuelto la UX del software si ahora la gente necesita robots para señalar botones.
Propósito de la herramienta
- CLI para macOS que permite a los agentes de IA (o a humanos mediante scripts) dibujar flechas grandes, cajas y superposiciones de texto en la pantalla.
- Diseñada principalmente para flujos de trabajo de “agente de guía”: la IA muestra “haz clic aquí” mientras el humano mantiene el control, especialmente para acciones que los agentes no deberían o no pueden realizar (contraseñas, diálogos de seguridad, herramientas solo-GUI).
Casos de uso percibidos
- Guía paso a paso en GUIs complejas (por ejemplo, Blender, editores multimedia, aplicaciones empresariales corporativas con etiquetas confusas).
- Soporte técnico remoto, especialmente para usuarios mayores o menos técnicos, como alternativa a explicar repetidamente “el otro icono de engranaje” o usar escritorio remoto.
- Mejores tutoriales y documentación: resaltar directamente botones en pantalla en lugar de capturas estáticas y prosa.
- Depuración de agentes y visualización multiagente: trazas visuales de en qué se están enfocando los agentes.
- Contextos de accesibilidad / formación que recuerdan a los antiguos tutoriales interactivos de PC.
Escepticismo y crítica
- Algunos lo ven como emblemático de la “bazofia de IA”: código de poco esfuerzo, hecho al vuelo, que existe porque los LLM hacen barato construir estas herramientas.
- Otros sostienen que trata a los humanos como “bots de carne” haciendo aprobaciones a ciegas, erosionando el paso en el que los humanos entienden las consecuencias.
- Preocupa que esté arreglando problemas creados por una mala UX en lugar de mejorar el software subyacente.
- Varios encuentran las flechas visualmente feas o “repugnantes”, y no les gusta el ruido visual añadido, comparándolo con ventanas emergentes molestas y ayudantes estilo Clippy.
Seguridad, abuso y permisos
- Surgen dudas sobre si el poder de superposición podría abusarse para ocultar botones de “rechazar” o cambiar el texto percibido de la interfaz.
- Contrapunto: si la herramienta solo dibuja superposiciones y el agente ya tiene acceso a la shell, enmascarar botones no es la amenaza principal; la confianza en el proveedor del software sigue siendo el problema central.
- Se comenta que los agentes LLM actuales a menudo rechazan acciones sensibles (contraseñas, ajustes de seguridad) por prompts del sistema y normas integradas, no solo por permisos a nivel de sistema operativo.
Reflexiones más amplias sobre IA y UX
- Debate sobre si esto es una sobreingeniería derrochadora o una solución pragmática para décadas de mala UX y de búsqueda/tutoriales insuficientes dentro de las apps.
- Meta-discusión sobre un futuro en el que los repositorios se convierten en especificaciones para agentes, “prompt = esfuerzo”, y la IA satura las herramientas cotidianas, para bien y para mal.