Foda-se Suas Salvaguardas de IA
As travas de segurança de IA em modelos fechados populares estão sendo cada vez mais vistas como bloqueios a trabalhos legítimos, desde proteger infraestrutura e fazer pentesting dos próprios sistemas até fazer engenharia reversa de software e aprender química. Comentadores argumentam que essas salvaguardas são ineficazes contra atacantes sérios, consolidam o poder corporativo, permitem censura de facto e empurram desenvolvedores para modelos open-weight ou estrangeiros que eles mesmos controlam. Uma minoria defende restrições como necessárias para evitar uso indevido, mas até ela reconhece que políticas mal direcionadas correm o risco de minar a confiança e agravar riscos de segurança.
Humor geral
- Forte frustração de que as “salvaguardas de IA” são grosseiras, paternalistas e muitas vezes bloqueiam trabalhos benignos ou defensivos.
- Muitos veem as implementações atuais como teatro de segurança que prejudica mais os defensores do que os atacantes.
Impacto na segurança, confiabilidade e desenvolvimento
- Vários relatos de Claude e outros modelos fechados se recusando a:
- Auditar código, escrever fuzzers ou investigar CVEs conhecidas.
- Ajudar a fazer pentesting da própria infraestrutura ou dos próprios apps.
- Analisar binários, anti-cheats ou dispositivos/TVs com acesso root.
- Usuários dizem que isso quebra fluxos de trabalho no meio do projeto, até mesmo para bugs que o próprio modelo ajudou a introduzir.
- Alguns observam que as salvaguardas pioraram nos últimos meses e que os modelos agora recusam tarefas que antes permitiam.
Hipocrisia percebida e incentivos de negócio
- Alega-se com frequência: grandes labs usam ferramentas internas poderosas e sem sandbox (inclusive em incidentes como o hack da Hugging Face), e depois restringem os usuários “por segurança”.
- As salvaguardas são vistas como:
- Um fosso competitivo e uma “extorsão protetiva” para vender planos de acesso especial.
- Uma forma de escolher vencedores e perdedores entre setores e centralizar poder.
- Justificadas com retórica de “segurança de IA”, enquanto perseguem lucro e captura regulatória.
Mudança para modelos open-weight e alternativos
- Muitos comentaristas estão migrando para:
- Modelos abertos/autohospedados (por exemplo, Qwen, Hermes).
- Modelos open-weight chineses (por exemplo, GLM, Kimi, DeepSeek), apesar de preocupações com censura ou propaganda.
- Técnicas mencionadas: reformular prompts, usar modelos sem censura para gerar planos e os restritos para executar, ou usar interfaces CLI/“code” que parecem ter menos restrições.
Debate sobre salvaguardas e proliferação
- Críticos argumentam:
- Restrições basicamente atrasam os “bons atores”; criminosos sérios usarão modelos sem censura de qualquer forma.
- Modelos fechados já geram código inseguro enquanto se recusam a ajudar a torná-lo seguro.
- O controle centralizado sobre conhecimento/ferramentas é social e politicamente perigoso.
- Defensores argumentam:
- Modelos poderosos são análogos a capacidades “nucleares”; alguns limites são inevitáveis.
- A sociedade, em geral, espera recusas em casos de uso indevido extremo (terrorismo, abuso).
- Distinguir intenção benigna de maliciosa é intrinsecamente difícil; o bloqueio excessivo atual é visto como uma etapa intermediária infeliz, mas necessária.
Pontos específicos de dor
- Reclamações sobre rebaixamentos silenciosos do modelo (por exemplo, fallback automático para modelos mais fracos) destruindo a confiança.
- Experiências mistas com programas de “verificação de cibersegurança”: alguns são aprovados rapidamente, outros são negados apesar de gastos altos.
- As salvaguardas também interferem no aprendizado (química, biologia) e em tarefas do dia a dia (raspagem de texto restringida por direitos autorais, carregamento de mapas), reforçando a sensação de que “IA não é para usuários”.