Show HN: Deixe seus agentes de IA pintarem grandes setas, caixas e texto na sua tela

Artigo original ↗ Discussão no Hacker News ↗

Uma pequena ferramenta para macOS que permite que agentes de IA desenhem setas grandes, caixas e texto na tela para indicar onde os usuários devem clicar está gerando reações mistas. Os defensores veem isso como uma ajuda prática para onboarding, apps complexos como o Blender, suporte técnico remoto, acessibilidade e fluxos de trabalho com humano no circuito, em que a IA pode orientar em vez de automatizar totalmente as ações. Os críticos afirmam que isso exemplifica um desperdício de “AI slop”, levanta preocupações sobre segurança, manipulação e dependência excessiva de modelos na nuvem, e reflete o quão complicada a UX de software se tornou se agora as pessoas precisam de robôs para apontar botões.

Finalidade da Ferramenta

  • CLI para macOS que permite que agentes de IA (ou humanos via scripts) desenhem grandes setas, caixas e sobreposições de texto na tela.
  • Destinada principalmente a fluxos de trabalho de “agente orientador”: a IA mostra “clique aqui” enquanto o humano mantém o controle, especialmente para ações que agentes não deveriam ou não conseguem executar (senhas, diálogos de segurança, ferramentas apenas com GUI).

Casos de Uso Percebidos

  • Orientação passo a passo em GUIs complexas (por exemplo, Blender, editores de mídia, aplicativos corporativos empresariais com rótulos confusos).
  • Suporte técnico remoto, especialmente para pessoas mais velhas ou menos técnicas, como alternativa a explicar repetidamente “o outro ícone de engrenagem” ou usar desktop remoto.
  • Tutoriais e documentação melhores: destacar diretamente botões na tela em vez de capturas estáticas e texto.
  • Depuração de agentes e visualização multiagente: rastros visuais do que os agentes estão focando.
  • Contextos de acessibilidade / treinamento que lembram os antigos tutoriais interativos de PC.

Ceticismo e Críticas

  • Alguns veem isso como emblemático de “AI slop”: código feito com pouco esforço, no estilo vibe coding, que existe porque LLMs tornam barato construir esse tipo de ferramenta.
  • Outros argumentam que trata humanos como “meat bots” fazendo aprovações cegas, corroendo a etapa em que os humanos entendem as consequências.
  • Preocupações de que isso esteja consertando problemas criados por uma UX ruim em vez de melhorar o software subjacente.
  • Vários acham que as setas são visualmente feias ou “grossas”, e não gostam do ruído visual adicional, comparando-as a pop-ups irritantes e helpers no estilo Clippy.

Segurança, Abuso e Permissões

  • Dúvidas sobre se o poder da sobreposição poderia ser abusado para esconder botões de “recusar” ou alterar o texto percebido da interface.
  • Contraponto: se a ferramenta apenas desenha sobreposições e o agente já tem acesso ao shell, mascarar botões não é a principal ameaça; a confiança no fornecedor do software continua sendo o ponto central.
  • Discussão de que os agentes LLM atuais muitas vezes recusam ações sensíveis (senhas, configurações de segurança) por causa de prompts de sistema e normas embutidas, não apenas por permissões no nível do SO.

Reflexões Mais Amplas sobre IA e UX

  • Debate sobre se isso é uma sobreengenharia desperdiçada ou uma correção pragmática para décadas de UX ruim e busca/tutoriais insuficientes dentro dos aplicativos.
  • Meta-discussão sobre um futuro em que repositórios se tornam especificações para agentes, “prompt = esforço”, e a IA satura as ferramentas do dia a dia, para o bem e para o mal.