O que aconteceu depois que 2 mil pessoas tentaram hackear meu assistente de IA

Reação geral

• Muitos acharam o experimento divertido e interessante, mas a maioria achou que o otimismo sobre prompt injection foi exagerado.
• O resultado de “nenhum segredo vazou em ~6 mil tentativas” foi visto como sugestivo, mas longe de ser conclusivo.

Preocupações sobre o desenho experimental

• Apenas e-mails de tentativa única; sem interações “cozinhando o sapo” em múltiplas etapas, que vários consideram o verdadeiro perigo.
• O agente, por projeto, quase não respondia aos e-mails para economizar custo. Críticos argumentam que, se um assistente nunca responde, é fácil ele ser “seguro”, mas inútil.
• Quase todas as entradas eram maliciosas, ao contrário de caixas de entrada reais, onde e-mails legítimos dominam. Isso permite que o modelo trate todo o canal como hostil.
• Apenas a exfiltração direta, em banda, via e-mail foi testada de forma significativa; canais indiretos (ferramentas, requisições web, sistema de arquivos, outras exfiltrações de rede) estavam em grande parte ausentes.
• A agregação inicial contaminou o comportamento; as execuções posteriores usaram contexto fresco por e-mail, o que alguns acharam que colocou o modelo em um modo irrealisticamente “paranoico”.

Interpretação de segurança e limitações

• Comentários enfatizaram que 0 falhas em 6 mil tentativas aleatórias não limita a taxa de sucesso de um ataque no pior caso; modelos estocásticos com baixa taxa de falha ainda podem não apresentar falhas em amostras pequenas.
• A conclusão de que estão “menos preocupados com prompt injection” foi amplamente contestada; as pessoas destacaram risco de cauda, métodos de jailbreak de ponta ainda desconhecidos e ataques de confusão de papéis.
• Vários observaram que atacantes com jailbreaks fortes provavelmente não vão desperdiçá-los em uma competição pública de baixo risco, especialmente com recompensas modestas.

Utilidade versus segurança

• Vários comentários argumentaram que o teste não mediu o trade-off principal: distinguir instruções maliciosas de legítimas enquanto ainda realiza trabalho útil.
• As pessoas queriam métricas de falsos positivos/falsos negativos e evidências de que fluxos de trabalho normais baseados em e-mail ainda funcionariam.

Custo, operação e privacidade

• Custo (~US$ 500) e risco de “negação da carteira” foram mencionados repetidamente; alguns sugeriram modelos mais baratos ou canais diferentes.
• O filtro de spam do Google e a suspensão da conta reforçaram que tais agentes deveriam rodar em contas descartáveis.
• Publicar endereços de e-mail parcialmente redigidos no log de ataques levantou preocupações de privacidade e ética.

Sugestões para melhores acompanhamentos

• Reexecutar o mesmo corpus em vários modelos (incluindo menores/locais) e publicar resultados comparativos.
• Permitir que o agente realmente aja e responda, conectar ferramentas/acesso à web reais, misturar e-mails benignos e maliciosos, e testar ataques de horizonte mais longo e em múltiplas etapas.