Os guardrails de comportamento da IA deveriam ser públicos
Os principais geradores de imagens por IA estão recebendo críticas por “guardrails” opacos que parecem impor agressivamente normas de diversidade centradas nos EUA, às vezes produzindo resultados ahistóricos ou tendenciosos em termos raciais (por exemplo, recusando-se a retratar pessoas brancas enquanto corrigem excessivamente para figuras não brancas). Comentadores debatem se isso vem de um alinhamento técnico desajeitado, da gestão de risco comercial e jurídico, ou de viés ideológico, e discutem se as regras de segurança deveriam ser públicas, configuráveis pelos usuários ou substituídas por modelos locais e totalmente abertos. O episódio alimenta preocupações mais amplas sobre a concentração de poder sobre a informação, políticas ocultas de moderação e as implicações de longo prazo de deixar que algumas empresas de tecnologia definam o que conta como saída aceitável ou “precisa”.
Escopo: Guardrails e Transparência
- Muitos argumentam que as regras de comportamento da IA (“guardrails”) deveriam ser públicas: restrições ocultas moldam as respostas, mas os usuários não podem vê-las nem controlá-las.
- Outros observam que a maioria dos sistemas de moderação em larga escala mantém as regras em segredo para evitar contornos fáceis e reduzir o risco de marca/jurídico.
- Críticos respondem que isso se aproxima mais de uma lei secreta do que de segurança, e cria uma experiência de usuário “kafkiana” em que as falhas parecem arbitrárias.
Controvérsia sobre o viés de imagens do Gemini
- Vários relatos: o Gemini gera em excesso pessoas não brancas para prompts em que pessoas brancas seriam histórica ou contextualmente esperadas (por exemplo, papas, soldados alemães da Segunda Guerra Mundial, realeza histórica escocesa/inglesa).
- Alguns usuários veem recusa direta ou lições morais ao pedir “white [role]”, enquanto prompts semelhantes para outras raças/gêneros funcionam.
- Vários inferem um prompt oculto de diversidade (“faça imagens de pessoas diversas”) injetado de forma ampla quando humanos são detectados na solicitação.
- Alguns observam que o comportamento parece ter sido parcialmente corrigido e é não determinístico.
Alinhamento Técnico vs DEI / “Wokeness”
- Um grupo: isso é בעיקרamente um truque técnico de alinhamento sobreposto a dados de treinamento enviesados (a internet super-representa conteúdo branco/ocidental; modelos ingênuos tendem a default para branco, masculino). Os guardrails tentam contrariar isso e evitar falhas racistas como incidentes anteriores com “gorillas”.
- Outro grupo: o comportamento é claramente ideológico, corrigindo em excesso para uma nova forma de viés racial e até distorção histórica; veem isso como engenharia social corporativa.
- Alguns defendem um “meio-termo”: default para diversidade em prompts genéricos e modernos, mas respeitar demografia e história quando o contexto (tempo, lugar, grupo) é explícito.
- Outros propõem personalização por usuário ou por localidade, para que as “pessoas padrão” se aproximem melhor das expectativas do usuário, em vez de um único modelo de diversidade centrado nos EUA.
Risco de Negócio, Lei e Marca
- Muitos comentários ligam guardrails à segurança da marca, risco de litígio e relações públicas, e não a ética ou segurança puras.
- Há preocupação de que o medo de controvérsia leve as empresas a restringir demais, produzindo resultados estranhos ou inutilizáveis.
Alternativas e Modelos Abertos
- Vários apontam para modelos locais e de código aberto (LLMs e variantes do Stable Diffusion) como formas de evitar guardrails corporativos, ao custo de complexidade de configuração e ausência de segurança centralizada.
- Alguns esperam pressão para regular ou estigmatizar modelos abertos em nome da “segurança”, o que outros veem como uma concentração ainda maior de poder.