Foda-se Suas Salvaguardas de IA

As travas de segurança de IA em modelos fechados populares estão sendo cada vez mais vistas como bloqueios a trabalhos legítimos, desde proteger infraestrutura e fazer pentesting dos próprios sistemas até fazer engenharia reversa de software e aprender química. Comentadores argumentam que essas salvaguardas são ineficazes contra atacantes sérios, consolidam o poder corporativo, permitem censura de facto e empurram desenvolvedores para modelos open-weight ou estrangeiros que eles mesmos controlam. Uma minoria defende restrições como necessárias para evitar uso indevido, mas até ela reconhece que políticas mal direcionadas correm o risco de minar a confiança e agravar riscos de segurança.

Humor geral

  • Forte frustração de que as “salvaguardas de IA” são grosseiras, paternalistas e muitas vezes bloqueiam trabalhos benignos ou defensivos.
  • Muitos veem as implementações atuais como teatro de segurança que prejudica mais os defensores do que os atacantes.

Impacto na segurança, confiabilidade e desenvolvimento

  • Vários relatos de Claude e outros modelos fechados se recusando a:
    • Auditar código, escrever fuzzers ou investigar CVEs conhecidas.
    • Ajudar a fazer pentesting da própria infraestrutura ou dos próprios apps.
    • Analisar binários, anti-cheats ou dispositivos/TVs com acesso root.
  • Usuários dizem que isso quebra fluxos de trabalho no meio do projeto, até mesmo para bugs que o próprio modelo ajudou a introduzir.
  • Alguns observam que as salvaguardas pioraram nos últimos meses e que os modelos agora recusam tarefas que antes permitiam.

Hipocrisia percebida e incentivos de negócio

  • Alega-se com frequência: grandes labs usam ferramentas internas poderosas e sem sandbox (inclusive em incidentes como o hack da Hugging Face), e depois restringem os usuários “por segurança”.
  • As salvaguardas são vistas como:
    • Um fosso competitivo e uma “extorsão protetiva” para vender planos de acesso especial.
    • Uma forma de escolher vencedores e perdedores entre setores e centralizar poder.
    • Justificadas com retórica de “segurança de IA”, enquanto perseguem lucro e captura regulatória.

Mudança para modelos open-weight e alternativos

  • Muitos comentaristas estão migrando para:
    • Modelos abertos/autohospedados (por exemplo, Qwen, Hermes).
    • Modelos open-weight chineses (por exemplo, GLM, Kimi, DeepSeek), apesar de preocupações com censura ou propaganda.
  • Técnicas mencionadas: reformular prompts, usar modelos sem censura para gerar planos e os restritos para executar, ou usar interfaces CLI/“code” que parecem ter menos restrições.

Debate sobre salvaguardas e proliferação

  • Críticos argumentam:
    • Restrições basicamente atrasam os “bons atores”; criminosos sérios usarão modelos sem censura de qualquer forma.
    • Modelos fechados já geram código inseguro enquanto se recusam a ajudar a torná-lo seguro.
    • O controle centralizado sobre conhecimento/ferramentas é social e politicamente perigoso.
  • Defensores argumentam:
    • Modelos poderosos são análogos a capacidades “nucleares”; alguns limites são inevitáveis.
    • A sociedade, em geral, espera recusas em casos de uso indevido extremo (terrorismo, abuso).
    • Distinguir intenção benigna de maliciosa é intrinsecamente difícil; o bloqueio excessivo atual é visto como uma etapa intermediária infeliz, mas necessária.

Pontos específicos de dor

  • Reclamações sobre rebaixamentos silenciosos do modelo (por exemplo, fallback automático para modelos mais fracos) destruindo a confiança.
  • Experiências mistas com programas de “verificação de cibersegurança”: alguns são aprovados rapidamente, outros são negados apesar de gastos altos.
  • As salvaguardas também interferem no aprendizado (química, biologia) e em tarefas do dia a dia (raspagem de texto restringida por direitos autorais, carregamento de mapas), reforçando a sensação de que “IA não é para usuários”.