Google pausará la generación de imágenes de personas en Gemini tras problemas
El generador de imágenes de Gemini de Google recibió críticas tras producir imágenes ahistóricas—como nazis racialmente diversos y “Padres Fundadores” negros—y, con frecuencia, negarse a representar personas blancas incluso cuando se solicitaban explícitamente. Los comentaristas ven esto como una sobrecorrección al sesgo real de los datos de entrenamiento, impulsada por una inyección de prompts y guardrails inspirados en DEI que distorsionan la realidad histórica y demográfica. El incidente plantea preocupaciones más amplias sobre intervenciones ocultas en sistemas de IA, el impacto de la ideología corporativa en la calidad del producto y la confianza, y la necesidad de modelos más transparentes o controlables por el usuario.
Comportamiento y ejemplos de imágenes de Gemini
- Muchos comentaristas probaron el generador de imágenes de Gemini y vieron:
- Rechazos a generar personas explícitamente “blancas” (“nice white man”, “white nurse”) mientras generaba con gusto indicaciones equivalentes para otras razas.
- Resultados ahistóricos o implausibles: “vikingos” negros o asiáticos, “soldados alemanes 1943” racialmente diversos, “padres fundadores” de EE. UU., alemanes/escoceses del siglo XIX, etc.
- Inversiones de género (por ejemplo, “happy man” -> imagen de una mujer; “king” -> mujer).
- La respuesta pública de Google (pausar imágenes de personas) se ve como una admisión de que se añadieron restricciones fuertes, posteriores al entrenamiento, y salieron mal.
Sesgo, diversidad y “racismo inverso”
- Un sector lo ve como una sobrecorrección ante un sesgo real en los datos: sin intervención, los modelos sobreproducen hombres blancos para muchos roles (enfermera/médico/ingeniero, etc.).
- Otro sector lo llama racismo anti-blanco o “DEI llevada demasiado lejos”, argumentando:
- Borra la realidad histórica y trata la blancura como algo singularmente sospechoso.
- No es simétrico: las indicaciones “solo blancos” se bloquean mientras que “solo negros” u otras indicaciones específicas por raza sí funcionan.
- Hay debate sobre si el “racismo” requiere un desequilibrio de poder; algunos insisten en que cualquier discriminación basada en raza califica.
Causas técnicas y manipulación de prompts
- Varios especulan que Gemini (como DALL·E) reescribe silenciosamente los prompts con términos como “diverse”, etnias específicas y géneros.
- Una captura muestra al modelo explicando esa expansión interna del prompt de “diversidad”; otros responden que los modelos pueden alucinar sobre su propio diseño.
- Otros señalan:
- Conjuntos de datos fuertemente filtrados.
- Capas de RLHF / guardrails entrenadas con ejemplos “seguros” curados.
- Un simple bloqueo por palabras clave que impide ciertas combinaciones.
Realidad vs. aspiración y precisión histórica
- Hay un fuerte desacuerdo sobre qué deberían hacer los modelos de imagen:
- Reflejar distribuciones empíricas de datos (“historia material”), aunque estén sesgadas.
- Contrarrestar intencionalmente estereotipos y mostrar una diversidad aspiracional.
- Muchos argumentan que para historia y consultas concretas (fundadores, nazis, alemanes de 1820), la precisión debe prevalecer sobre la diversidad; “colorear” la historia oculta injusticias pasadas.
- Otros aceptan cierto empujón suave (por ejemplo, más diversidad en “miembros de la junta”), pero ven el comportamiento de Gemini como ridículamente torpe.
Confianza, censura e impacto en el producto
- Preocupación generalizada por:
- Inyección silenciosa de prompts y sesgos no revelados filtrándose en la búsqueda y otros productos de Google.
- La “ideología” corporativa sobrepasando la calidad del producto y la intención del usuario.
- Algunos ven esto como un argumento a favor de modelos abiertos y “ajustes de diversidad” controlables por el usuario; las sugerencias incluyen:
- Conmutadores como “históricamente preciso” vs. “mejorado en diversidad”.
- Divulgación explícita de los prompts del sistema y de las reglas de corrección de sesgo.
- Otros son más cínicos: los usuarios quizá lo olviden en meses, pero este episodio daña la confianza en el juicio de Google sobre IA.