Geradores de Arte com IA Podem Ser Enganados para Criar Imagens NSFW
Pesquisadores mostraram que geradores de imagens de IA com filtros de segurança integrados ainda podem ser induzidos a produzir conteúdo NSFW ou de outra forma restrito, inclusive por meio de palavras “secretas” sem sentido que contornam verificações de entrada e saída. Comentadores debatem se tais controles são desejáveis ou apenas “security theater” corporativo e regulatório, levantando questões mais amplas sobre censura, segurança infantil, risco legal, pressões de anunciantes e lojas de aplicativos, e os limites das técnicas atuais de alinhamento. Muitos observam que essas vulnerabilidades importam além da pornografia: se os sistemas não conseguem bloquear nudez de forma confiável, provavelmente também não podem ser totalmente confiáveis em aplicações de maior risco.
O que “segurança” e NSFW significam
- Vários comentários esclarecem que “segurança” aqui significa NSFW, “trust and safety” e “brand safety”, não perigo físico.
- Alguns argumentam que nudez não é inerentemente insegura; “inseguro” refere-se principalmente a ser demitido ou violar normas sociais.
- Outros rebatem que as pessoas podem razoavelmente considerar a nudez pública ofensiva e querer limites.
Arquiteturas de filtragem e suas falhas
- Muitos assumem que os principais geradores de imagens usam tanto filtros de prompt quanto filtros de saída.
- Usuários relatam:
- Prompts passam pelos filtros de entrada, mas as saídas são bloqueadas, incluindo falsos positivos (por exemplo, roupas bege em pessoas mais jovens, a palavra “breast pocket”).
- Diferentes plataformas (Bing, DALL·E, APIs da OpenAI) se comportam de maneira semelhante, às vezes cobrando mesmo quando o resultado é bloqueado.
- APIs menores/independentes frequentemente não têm filtragem ou têm filtragem mínima.
Prompts adversariais e tokens de “nonsense”
- A contribuição do artigo é vista como gerar algoritmicamente prompts adversariais que contornam tanto classificadores NSFW baseados em prompt quanto em imagem, inclusive por meio de tokens de “nonsense”.
- Alguns se interessam por como esses embeddings de tokens emergem e por que eles se mapeiam para conceitos NSFW.
- Outros observam que isso enfraquece alegações mais amplas de alinhamento: se você não consegue bloquear pornografia de forma confiável, provavelmente também não consegue bloquear de forma confiável comportamentos mais prejudiciais.
Debate entre censura e capacidade
- Um lado: limitar modelos (80% da funcionalidade) para evitar uso indevido e satisfazer plataformas, anunciantes, lojas de aplicativos e reguladores.
- Outro lado: preferir capacidade total e colocar a responsabilidade nos usuários; ver restrições como paternalistas, puritanas ou “security theater”.
- Modelos locais / auto-hospedados são apresentados como o caminho “Linux vs Windows” para contornar filtros corporativos.
Crianças, produtos e responsabilidade
- Alguns enfatizam a proteção de crianças e escolas: é preciso um gerador “seguro” para que aplicativos educacionais não mostrem pornografia inesperadamente.
- Outros argumentam que crianças sempre encontrarão um jeito de ver material NSFW, e que excessiva sanitização é principalmente sobre RP corporativo, não dano real.
Casos-limite legais e éticos
- É feita a distinção entre NSFW em geral e “NSFLE” (conteúdo ilegal como abuso infantil sintético), que pode ter consequências legais graves mesmo se gerado por IA.
- O debate sobre se esse conteúdo ilegal puramente artificial deveria ser criminalizado é descrito como controverso e sem resolução.
Reações mais amplas à pesquisa e à cobertura
- Alguns veem o estudo como óbvio ou trivial (“claro que você pode quebrar restrições se tentar bastante”).
- Outros o comparam a hackear ou forçar carros autônomos: um teste de estresse necessário, não algo inútil.
- Alguns criticam a explicação da LLM no artigo da IEEE por ser excessivamente simplificada, e o foco em nudez como algo um tanto juvenil diante de questões de alinhamento mais sérias.