Os argumentos contra a IA de código aberto são ruins
O debate sobre modelos de IA “código aberto” ou de pesos abertos gira em torno de saber se liberar sistemas poderosos ao público aumenta a segurança geral ou simplesmente arma atores mal-intencionados. Alguns argumentam que modelos abertos são inevitáveis, permitem auditoria independente e impedem que um pequeno grupo de empresas ou governos monopolize uma possível “superarma”, enquanto outros sustentam que APIs centralizadas permitem monitoramento, revogação e salvaguardas que se tornam impossíveis quando os pesos são amplamente distribuídos. Um tema recorrente é a desconfiança: críticos de modelos fechados veem a pressão regulatória como captura regulatória corporativa, enquanto céticos dos modelos abertos os comparam à publicação de projetos de bombas nucleares e questionam se alguma sociedade consegue administrar os riscos resultantes.
Escopo da discordância
- A maioria dos comentaristas apoia modelos amplamente disponíveis / “abertos”, mas diverge quanto ao grau e à forma (pesos abertos vs. código-fonte totalmente aberto, limites de capacidade, etc.).
- Uma minoria argumenta que a IA poderosa deve ser rigidamente controlada ou nem sequer criada, comparando-a à tecnologia nuclear.
Segurança, uso indevido e motivação humana
- Preocupações: modelos abertos ajustados poderiam viabilizar golpes em larga escala, fraudes direcionadas, ataques cibernéticos ou danos em massa de baixo esforço; pesos abertos removem as salvaguardas “por definição”.
- Contrapontos:
- Abusos semelhantes já ocorrem com modelos fechados e com mão de obra humana barata; golpes não exigem IA “nível gênio”.
- A principal restrição para atrocidades é que pouquíssimas pessoas querem cometê-las; o conhecimento não é o gargalo.
- Tentativas de “embrulhar o mundo em plástico-bolha” frequentemente corroem a confiança, as liberdades civis e podem sair pela culatra.
Modelos abertos vs. fechados para segurança
- Argumentos pró-fechado:
- APIs centralizadas permitem monitoramento, revogação de acesso e aplicação de salvaguardas; reguladores têm menos entidades para supervisionar.
- Pesos abertos podem ser copiados, modificados e implantados por qualquer pessoa, inclusive estados hostis e criminosos, tornando a supervisão difícil.
- Argumentos pró-aberto:
- Sistemas fechados também podem ser usados em larga escala por seus proprietários, com pouca transparência.
- Pesos abertos ajudam defensores: por exemplo, modelos sem filtros de segurança teriam sido necessários para investigar um ataque avançado guiado por IA.
- A história da criptografia: proibições e backdoors falharam e enfraqueceram a segurança.
Backdoors, envenenamento e confiança
- Vários observam que o envenenamento de modelos e backdoors são sutis e difíceis de detectar, mesmo com pesos abertos.
- Outros argumentam que inspeção e red teaming ainda são mais fáceis com pesos abertos do que com APIs opacas, de forma análoga a software aberto vs. proprietário.
- Alguns sugerem que você deve assumir que qualquer modelo pode ser comprometido e projetar sistemas que não confiem totalmente nele.
“Código aberto” vs “pesos abertos”
- Há uma linha forte argumentando que liberar os pesos não é verdadeiro código aberto:
- Pesos são mais como binários redistribuíveis; a abertura completa incluiria dados, código de treinamento e pipeline.
- O fine-tuning é possível, mas em geral não se pode “desfazer” o pré-treinamento enviesado ou propagandístico.
- Outros respondem que, na prática, a parte cara é o treinamento; a capacidade de executar e ajustar pesos em seu próprio hardware é o que importa.
China, geopolítica e propaganda
- Alguns temem que modelos chineses de pesos abertos possam incorporar backdoors, vulnerabilidades sutis de código ou propaganda.
- Contrapontos:
- Pesos abertos podem ser testados e até comparados com modelos não chineses.
- Os temores dos EUA são vistos por alguns como retórica de estilo Guerra Fria e uma forma de manter a dominância tecnológica dos EUA, e não uma postura principista de segurança.
Regulação, incentivos corporativos e captura
- Muitos veem “a IA é perigosa demais; apenas alguns laboratórios deveriam lidar com ela” como uma estratégia de captura regulatória por grandes empresas.
- Há ceticismo tanto em relação à autorregulação corporativa quanto à competência dos governos, mas também o reconhecimento de que alguma regulação para a segurança pública é padrão.
- Alguns argumentam que uma verdadeira “IA de interesse público” exigiria financiamento público e gestão sem fins lucrativos ou acadêmica, não apenas laboratórios privados.