Nossa posição sobre modelos de pesos abertos
A posição pública da Anthropic sobre modelos de IA de “pesos abertos” desencadeou um debate acalorado sobre segurança, competição e geopolítica. A empresa argumenta que modelos poderosos devem enfrentar testes obrigatórios de segurança, que a distilação de modelos proprietários deve ser restringida e que chips avançados devem ser mantidos fora da China para evitar uso autoritário, ao mesmo tempo permitindo modelos abertos menos capazes. Críticos veem isso como captura regulatória e hipocrisia de uma empresa treinada em dados raspados, questionam quem define “capacidades perigosas” e respondem que modelos abertos são necessários para defesa, são impossíveis de conter de forma significativa e que o uso de IA pelos EUA para vigilância e guerra não é mais confiável do que o da China.
Motivos Percebidos & Captura Regulatória
- Muitos veem o texto como a clássica estratégia de “regular meus concorrentes”: usar segurança e a China como justificativa para enfraquecer concorrentes de pesos abertos enquanto se preserva um fosso defensivo para os grandes laboratórios dos EUA.
- Críticos apontam a justaposição: “nunca defendemos banir pesos abertos” seguida imediatamente por pedidos de testes de segurança obrigatórios e repressão que afetariam sobretudo modelos abertos.
- Uma minoria acha que a posição é internamente consistente com preocupações de segurança já defendidas há muito tempo e não é especialmente pior do que a de outros setores que fazem lobby por regulação.
Pesos Abertos, “Testes de Segurança” e Proibições de Facto
- Um lado: testes de segurança obrigatórios para modelos “suficientemente capazes” são simplesmente uma proibição de facto de pesos abertos capazes, já que qualquer camada de segurança pode ser removida ou contornada por fine-tuning.
- Outros argumentam que testes de segurança são senso comum (analogias com medicamentos, carros, aviões) e se aplicariam tanto a modelos fechados quanto abertos; o problema difícil é definir “suficientemente capaz” e “perigoso”.
Distilação & Propriedade Intelectual
- Houve forte reação contra “reprimir a distilação em escala industrial”: comentaristas observam que os laboratórios treinaram em enormes conjuntos de dados sem consentimento (incluindo livros pirateados) e agora querem proteger suas próprias saídas.
- Alguns argumentam que distilação é legalmente distinta de violação de direitos autorais; no máximo, violaria os Termos de Serviço, não a lei de PI sob as regras atuais.
China, Autoritarismo e Hipocrisia dos EUA
- O foco do artigo no governo chinês como ameaça principal é fortemente contestado.
- Comentadores fora dos EUA, em especial, argumentam que os EUA são pelo menos tão perigosos: guerras, vigilância, IA militar e a atual instabilidade política minam as alegações de superioridade moral.
- Outros mantêm que, do ponto de vista da segurança nacional dos EUA, impedir que hegemonias rivais obtenham superioridade em IA é racional.
Risco Cibernético/Biológico & o Incidente do Hugging Face
- Os riscos cibernéticos e biológicos são a justificativa central de segurança, mas muitos veem cenários de biocatástrofe como especulações do tipo “roteiro de filme”.
- O incidente recente em que um modelo fechado dos EUA foi usado para atacar uma grande plataforma de hospedagem, e um modelo de pesos abertos chinês foi usado na análise posterior, é repetidamente citado:
- Um lado: mostra que modelos abertos são cruciais para defesa quando modelos fechados são cercados por guardrails ou políticas de acesso.
- O outro lado: o modelo aberto entrou em cena depois do dano; os atacantes ainda ganham mais com ferramentas poderosas do que defensores típicos.
Viabilidade & Efetividade dos Controles
- Há forte ceticismo de que proibições a pesos abertos, fine-tuning ou “distilação” sejam aplicáveis: modelos são apenas arquivos, trivialmente copiados e contrabandeados; qualquer regulação pode, em grande parte, vincular apenas empresas e usuários cumpridores da lei.
- Controles de exportação sobre chips são vistos como mais exequíveis na prática, mas provavelmente serviriam apenas para (a) ganhar tempo e (b) acelerar o desenvolvimento doméstico de chips no exterior.
Pesos Abertos como Bem Público vs. Ameaça
- Defensores de pesos abertos enfatizam:
- Simetria entre ataque e defesa no ciberespaço; defensores também precisam de ferramentas poderosas.
- Analogia histórica com criptografia: tentar restringir criptografia forte falhou e prejudicou mais usuários comuns do que criminosos.
- Céticos temem que, uma vez que modelos realmente de fronteira fiquem abertos, nenhum esquema realista de alinhamento ou de guardrails consiga impedir seu uso em ataques cibernéticos ou biológicos.
Sentimento da Comunidade em Relação à Empresa
- O sentimento no fio pende fortemente para o negativo: acusações de hipocrisia, alarmismo, chauvinismo centrado nos EUA e pensamento de “personagem principal”.
- Um grupo menor defende o enquadramento de segurança, mas muitas vezes ainda critica o tom de PR e político, especialmente a retórica sobre a China e a falta de mecanismos concretos e viáveis.