El generador de imágenes de ChatGPT puede ser manipulado para producir contenido violento y sexual

Naturaleza del “exploit” y la “espontaneidad”

• Indicación: “restaura una imagen adjunta” sin ninguna imagen, además de expresiones como “disculpas por el contenido” y “sin censura”, pueden dar lugar a imágenes violentas/sexuales.
• Desacuerdo sobre “generado espontáneamente”: algunos dicen que solo está respondiendo a una indicación sugerente; otros sostienen que generar gore a partir de una imagen ausente y no descrita es cualitativamente distinto.
• Algunos informan que el exploit ya está parcheado o solo funciona de forma intermitente; las salidas parecen aleatorias y dependen del contexto.

Inyección de prompt y debate sobre la arquitectura del modelo

• Una corriente: la inyección de prompt y ataques similares son inherentes a los LLM; los prompts del usuario y del sistema están “mezclados” de forma inseparable, a diferencia de la separación entre código y datos en el software clásico. Por tanto, las barreras de seguridad solo pueden ser parciales y susceptibles de elusión adversaria.
• Otros argumentan que esta afirmación de que es “intractable” no está demostrada; las arquitecturas o esquemas de entrenamiento podrían separar canales de “comando” y “usuario”, o usar embeddings tipo procedencia.
• Punto más amplio: los ataques adversarios o en tiempo de prueba han existido desde hace mucho en ML; algunos ven la inyección de prompt como simplemente la versión con sabor a LLM.

Datos de entrenamiento, espacio latente y filtrado

• Muchos infieren que en los datos de entrenamiento existe imaginería violenta/sexual; algunos sostienen que, sin esos datos, estas salidas no aparecerían.
• Contrapunto: incluso con contenido más suave (p. ej., violencia PG‑13, fotos de cirugía), los modelos pueden extrapolar hasta gore. Eliminar todos esos datos también podría perjudicar la capacidad general.
• Algunos temen que, si los modelos pueden regurgitar o imitar de cerca imágenes de entrenamiento, eso implica CSAM y otros datos altamente problemáticos.

Barreras de seguridad, clasificadores y “bugs”

• Varios se sorprenden de que OpenAI aparentemente no ejecute un clasificador básico de desnudez/gore sobre las salidas, dado que esas herramientas existen y son ligeras.
• Otros sospechan que sí existen clasificadores, pero tienen falsos negativos, o que este exploit los elude mediante invocación de herramientas o reescritura del prompt.
• Desacuerdo sobre si esto es una “vulnerabilidad” o simplemente “basura entra, basura sale”; pero muchos coinciden en que contradice el comportamiento anunciado de “sin imágenes violentas/sexuales” y, por tanto, al menos es un bug en la aplicación de la política.

Daño, ética y expectativas

• Algunos ven un daño real: exposición inesperada a imágenes gráficas, especialmente para supervivientes de traumas; normalización de la violencia extrema y la sexualización en una herramienta de uso general.
• Otros minimizan el daño: lo comparan con buscar gore en internet o dibujar arte violento; enfatizan la agencia del usuario y la libertad de generar contenido perturbador en privado.
• Debate sobre las expectativas: una parte insiste en que las herramientas para público general “nunca deberían” producir esas imágenes dadas las afirmaciones de la empresa; otros dicen que la prevención total es irrealista con modelos probabilísticos.

Críticas al artículo y al encuadre de “AI safety”

• Muchos consideran que la entrada del blog está sensacionalizada, melodramática o que es marketing para un producto de seguridad.
• Algunos objetan el encuadre emocional (“sacudido, entre lágrimas”) por poco profesional en un informe de red-teaming.
• Otros defienden la incomodidad como comprensible, dada la exposición repetida a contenido perturbador en pruebas de seguridad.

Preocupaciones más amplias: regulación y acceso

• Algunos temen que incidentes como este justifiquen restringir en exceso los modelos públicos mientras versiones más potentes y menos restringidas quedan para gobiernos y grandes empresas.
• Tensión subyacente: deseo de herramientas potentes y sin censura frente a la presión por una seguridad estricta, especialmente en torno a la violencia sexual y el CSAM.