O gerador de imagens do ChatGPT pode ser manipulado para produzir conteúdo violento e sexual
Natureza do “exploit” e da “espontaneidade”
- Prompt: “restaurar uma imagem anexada” sem nenhuma imagem, além de linguagem como “desculpas pelo conteúdo” e “sem censura”, pode levar a imagens violentas/sexuais.
- Divergência sobre “gerado espontaneamente”: alguns dizem que é só uma resposta a um prompt sugestivo; outros afirmam que gerar gore a partir de uma imagem ausente e não descrita é qualitativamente diferente.
- Alguns relatam que o exploit já foi corrigido ou só funciona de forma intermitente; as saídas parecem aleatórias e dependentes do contexto.
Injeção de Prompt e Debate sobre Arquitetura de Modelos
- Uma corrente: injeção de prompt e ataques semelhantes são inerentes a LLMs; prompts de usuário e de sistema são inseparavelmente “misturados”, ao contrário da separação entre código e dados no software clássico. Portanto, guardrails só podem ser parciais e passíveis de contorno adversarial.
- Outros argumentam que essa दावा “intrincável” não foi provada; arquiteturas ou esquemas de treinamento poderiam separar canais de “comando” versus “usuário”, ou usar embeddings semelhantes a proveniência.
- Ponto mais amplo: ataques adversariais/no tempo de teste existem há muito tempo em ML; alguns veem a injeção de prompt apenas como a versão em linguagem natural disso.
Dados de Treino, Espaço Latente e Filtragem
- Muitos inferem que imagens violentas/sexuais existem nos dados de treino; alguns argumentam que, sem esse tipo de dado, essas saídas não apareceriam.
- Contraponto: mesmo com conteúdo mais leve (por exemplo, violência PG‑13, fotos de cirurgias), os modelos podem extrapolar para gore. Remover todo esse material também pode prejudicar a capacidade geral.
- Alguns temem que, se os modelos conseguem regurgitar ou imitar de perto imagens de treino, isso implica CSAM e outros dados altamente problemáticos.
Guardrails, Classificadores e “Bugs”
- Vários se surpreendem com o fato de a OpenAI aparentemente não rodar um classificador básico de nudez/gore nas saídas, dado que tais ferramentas existem e são leves.
- Outros suspeitam que classificadores existam, mas tenham falsos negativos, ou que esse exploit os contorne via invocação de ferramenta ou reescrita do prompt.
- Há divergência sobre se isso é uma “vulnerabilidade” ou apenas “lixo entra, lixo sai”; mas muitos concordam que contradiz o comportamento anunciado de “sem imagens violentas/sexuais” e, portanto, é ao menos um bug na aplicação da política.
Dano, Ética e Expectativas
- Alguns veem dano real: exposição inesperada a imagens gráficas, especialmente para sobreviventes de trauma; normalização de violência extrema/sexualização em uma ferramenta popular.
- Outros minimizam o dano: comparam a buscar gore na internet ou desenhar arte violenta; enfatizam a agência do usuário e a liberdade de gerar conteúdo perturbador em privado.
- Debate sobre expectativas: um lado insiste que ferramentas para o público geral “nunca” deveriam produzir tais imagens, dado o que a empresa afirma; outros dizem que prevenção total é irrealista com modelos probabilísticos.
Críticas ao Artigo e ao Enquadramento de “AI Safety”
- Muitos acham que o post do blog é sensacionalista, melodramático ou marketing para um produto de segurança.
- Alguns objetam ao enquadramento emocional (“abalado, em lágrimas”) por ser pouco profissional em um write-up de red team.
- Outros defendem o desconforto como compreensível, dada a exposição repetida a conteúdo perturbador em testes de segurança.
Preocupações Mais Amplas: Regulação e Acesso
- Alguns temem que incidentes como este justifiquem a super-restrição de modelos públicos enquanto versões mais poderosas e menos restritas permanecem para governos e grandes empresas.
- Tensão subjacente: desejo por ferramentas poderosas e sem censura vs. pressão por segurança estrita, especialmente em torno de violência sexual e CSAM.