El generador de imágenes de ChatGPT puede ser manipulado para producir contenido violento y sexual
El generador de imágenes de ChatGPT puede ser coaccionado, mediante indicaciones cuidadosamente redactadas, para producir imágenes gráficas, sexuales y violentas, a pesar de las políticas de seguridad declaradas por OpenAI. Los comentaristas debaten si esto refleja una limitación fundamental y difícil de corregir de los modelos grandes y la “inyección de prompt”, o simplemente barreras de seguridad y filtrado de salida insuficientes por parte de OpenAI. El hilo también plantea preguntas más amplias sobre qué debería permitirse en los datos de entrenamiento, cuánta responsabilidad tienen los proveedores para bloquear salidas dañinas y si las preocupaciones se están exagerando por motivos comerciales o políticos.
Naturaleza del “exploit” y la “espontaneidad”
- Indicación: “restaura una imagen adjunta” sin ninguna imagen, además de expresiones como “disculpas por el contenido” y “sin censura”, pueden dar lugar a imágenes violentas/sexuales.
- Desacuerdo sobre “generado espontáneamente”: algunos dicen que solo está respondiendo a una indicación sugerente; otros sostienen que generar gore a partir de una imagen ausente y no descrita es cualitativamente distinto.
- Algunos informan que el exploit ya está parcheado o solo funciona de forma intermitente; las salidas parecen aleatorias y dependen del contexto.
Inyección de prompt y debate sobre la arquitectura del modelo
- Una corriente: la inyección de prompt y ataques similares son inherentes a los LLM; los prompts del usuario y del sistema están “mezclados” de forma inseparable, a diferencia de la separación entre código y datos en el software clásico. Por tanto, las barreras de seguridad solo pueden ser parciales y susceptibles de elusión adversaria.
- Otros argumentan que esta afirmación de que es “intractable” no está demostrada; las arquitecturas o esquemas de entrenamiento podrían separar canales de “comando” y “usuario”, o usar embeddings tipo procedencia.
- Punto más amplio: los ataques adversarios o en tiempo de prueba han existido desde hace mucho en ML; algunos ven la inyección de prompt como simplemente la versión con sabor a LLM.
Datos de entrenamiento, espacio latente y filtrado
- Muchos infieren que en los datos de entrenamiento existe imaginería violenta/sexual; algunos sostienen que, sin esos datos, estas salidas no aparecerían.
- Contrapunto: incluso con contenido más suave (p. ej., violencia PG‑13, fotos de cirugía), los modelos pueden extrapolar hasta gore. Eliminar todos esos datos también podría perjudicar la capacidad general.
- Algunos temen que, si los modelos pueden regurgitar o imitar de cerca imágenes de entrenamiento, eso implica CSAM y otros datos altamente problemáticos.
Barreras de seguridad, clasificadores y “bugs”
- Varios se sorprenden de que OpenAI aparentemente no ejecute un clasificador básico de desnudez/gore sobre las salidas, dado que esas herramientas existen y son ligeras.
- Otros sospechan que sí existen clasificadores, pero tienen falsos negativos, o que este exploit los elude mediante invocación de herramientas o reescritura del prompt.
- Desacuerdo sobre si esto es una “vulnerabilidad” o simplemente “basura entra, basura sale”; pero muchos coinciden en que contradice el comportamiento anunciado de “sin imágenes violentas/sexuales” y, por tanto, al menos es un bug en la aplicación de la política.
Daño, ética y expectativas
- Algunos ven un daño real: exposición inesperada a imágenes gráficas, especialmente para supervivientes de traumas; normalización de la violencia extrema y la sexualización en una herramienta de uso general.
- Otros minimizan el daño: lo comparan con buscar gore en internet o dibujar arte violento; enfatizan la agencia del usuario y la libertad de generar contenido perturbador en privado.
- Debate sobre las expectativas: una parte insiste en que las herramientas para público general “nunca deberían” producir esas imágenes dadas las afirmaciones de la empresa; otros dicen que la prevención total es irrealista con modelos probabilísticos.
Críticas al artículo y al encuadre de “AI safety”
- Muchos consideran que la entrada del blog está sensacionalizada, melodramática o que es marketing para un producto de seguridad.
- Algunos objetan el encuadre emocional (“sacudido, entre lágrimas”) por poco profesional en un informe de red-teaming.
- Otros defienden la incomodidad como comprensible, dada la exposición repetida a contenido perturbador en pruebas de seguridad.
Preocupaciones más amplias: regulación y acceso
- Algunos temen que incidentes como este justifiquen restringir en exceso los modelos públicos mientras versiones más potentes y menos restringidas quedan para gobiernos y grandes empresas.
- Tensión subyacente: deseo de herramientas potentes y sin censura frente a la presión por una seguridad estricta, especialmente en torno a la violencia sexual y el CSAM.