Las barandillas de comportamiento de la IA deberían ser públicas
Los principales generadores de imágenes con IA están recibiendo críticas por unas “barandillas” opacas que parecen imponer con agresividad normas de diversidad centradas en EE. UU., produciendo a veces resultados ahistóricos o sesgados racialmente hacia un solo lado (por ejemplo, negándose a mostrar personas blancas mientras sobrecorrigen hacia figuras no blancas). Los comentaristas debaten si esto se debe a una alineación técnica torpe, a la gestión del riesgo legal y de marca de las empresas, o a sesgos ideológicos, y discuten si las reglas de seguridad deberían ser públicas, configurables por los usuarios o reemplazadas por modelos locales y totalmente abiertos. El episodio alimenta preocupaciones más amplias sobre el poder concentrado sobre la información, las políticas ocultas de moderación y las implicaciones a largo plazo de dejar que unas pocas empresas tecnológicas definan qué cuenta como salida aceptable o “precisa”.
Alcance: barandillas y transparencia
- Muchos sostienen que las reglas de comportamiento de la IA (“barandillas”) deberían ser públicas: las restricciones ocultas moldean las respuestas, pero los usuarios no pueden verlas ni controlarlas.
- Otros señalan que la mayoría de los sistemas de moderación a gran escala mantienen las reglas en secreto para evitar evasiones fáciles y reducir el riesgo de marca y legal.
- Los críticos responden que esto se parece más a una ley secreta que a seguridad, y crea una experiencia de usuario “kafkiana” en la que los fallos parecen arbitrarios.
Controversia sobre el sesgo en imágenes de Gemini
- Múltiples informes: Gemini sobre-genera personas no blancas para prompts en los que históricamente o por contexto se esperaría que aparecieran personas blancas (p. ej., papas, soldados alemanes de la Segunda Guerra Mundial, la realeza histórica escocesa/inglesa).
- Algunos usuarios ven un rechazo total o sermones morales al pedir “blanco [rol]”, mientras que prompts similares para otras razas/géneros funcionan.
- Varios infieren un prompt oculto de diversidad (“hacer que las imágenes de personas sean diversas”) inyectado de forma amplia cuando se detectan humanos en la solicitud.
- Unos pocos señalan que el comportamiento parece estar parcialmente corregido y no es determinista.
Alineación técnica vs DEI / “wokeness”
- Un bando: esto es principalmente un truco técnico de alineación superpuesto a datos de entrenamiento sesgados (internet sobrerrepresenta contenido blanco/occidental; los modelos ingenuos tienden a default a blanco, hombre). Las barandillas intentan contrarrestarlo y evitar fallos racistas como incidentes anteriores de “gorilas”.
- Otro bando: el comportamiento es claramente ideológico, sobrecorrigiendo hacia una nueva forma de sesgo racial e incluso de distorsión histórica; lo ven como ingeniería social corporativa.
- Algunos defienden un “punto medio”: por defecto, diversidad para prompts genéricos y modernos, pero respetar demografía e historia cuando el contexto (tiempo, lugar, grupo) es explícito.
- Otros proponen personalización por usuario o por configuración regional para que las “personas predeterminadas” se ajusten mejor a las expectativas del usuario en lugar de una única plantilla de diversidad centrada en EE. UU.
Riesgo empresarial, legal y de marca
- Muchos comentarios vinculan las barandillas con seguridad de marca, riesgo de litigio y relaciones públicas, no con pura ética o seguridad.
- Hay preocupación de que el miedo a la controversia empuje a las empresas a restringir en exceso, produciendo resultados torpes o inutilizables.
Alternativas y modelos abiertos
- Varios apuntan a modelos locales y de código abierto (LLMs y variantes de Stable Diffusion) como formas de evitar las barandillas corporativas, a costa de complejidad de configuración y falta de seguridad centralizada.
- Algunos esperan presión para regular o estigmatizar los modelos abiertos en nombre de la “seguridad”, lo que otros ven como una mayor concentración de poder.