Depois do estouro da OpenAI, parece bem claro que 'segurança em IA' não é uma coisa real

Escopo de “segurança em IA”

• Os comentaristas distinguem:
  • Segurança “mundana”: filtros de conteúdo, prevenção de saídas explícitas/ilegais, segurança de carros autônomos, proteção de marca.
  • Segurança “existencial”: AGI/ASI saindo do controle, “foom” de autoaperfeiçoamento, extinção ou dominação humana.
• Muitos dizem que threads e a mídia confundem constantemente essas duas coisas, o que embaralha o debate.

Quão perigosos são os sistemas atuais?

• Céticos: LLMs são preditores sofisticados de texto, às vezes “burros”, não agentes; as ameaças atuais são “ficção científica” exagerada, parecida com o hype inicial dos carros autônomos.
• Outros: mesmo sistemas não-AGI já podem:
  • Gerar propaganda, desinformação e blogspam em massa.
  • Ajudar em hacking e guerra cibernética.
  • Auxiliar terrorismo, bioengenharia ou planejamento detalhado.
• Alguns argumentam que o risco é בעיקרamente de humanos usarem mal as ferramentas, não de IAs terem objetivos.

Cronogramas de AGI e “foom”

• Uma corrente: a AGI está muito distante ou é indefinida; podemos regular quando capacidades reais aparecerem.
• Outra: o progresso (por exemplo, transformers, GPT-4, sistemas que jogam Go) surpreendeu especialistas; talvez estejamos a “anos, não séculos” de distância.
• Debate sobre “foom”:
  • Takeoff rápido (horas–semanas) é visto por muitos como termodinamicamente ou praticamente improvável.
  • Autoaperfeiçoamento mais lento, mas ainda rápido, ao longo de anos é considerado mais plausível e ainda perigoso.
• Há discordância sobre se faz sentido trabalhar em alinhamento antes de a AGI existir.

Controle, desligamento e agência

• Alguns dizem que sempre dá para “puxar o plugue” ou manter sistemas em air-gap.
• Outros observam:
  • Implantações distribuídas em nuvem, código aberto e autonomia financeira podem tornar o desligamento difícil.
  • Incentivos (lucro corporativo, vantagem militar) fazem com que os sistemas sejam conectados em rede e recebam mais controle.
  • Alinhar agentes fortes para que continuem “corrigíveis” ainda é um problema de pesquisa sem solução.

Motivos corporativos e captura regulatória

• Há forte suspeita de que a retórica de “segurança em IA” seja usada para:
  • Influenciar reguladores.
  • Desacelerar código aberto/concorrentes.
  • Acalmar o público enquanto aceleram a corrida.
• Alguns argumentam que o trabalho atual de “segurança” é principalmente gestão de marca e censura, não risco existencial.

Geopolítica (especialmente a China)

• Vários observam que qualquer pausa unilateral é irrealista por causa da competição entre Estados.
• Alguns esperam que a China:
  • Ignore normas ocidentais de segurança internamente.
  • Apoie publicamente regulações que atrasem empresas ocidentais.
• Outros respondem que todas as grandes potências enfrentam constrangimentos ideológicos e de vigilância semelhantes em torno da IA.

Guardrails, moderação e ideologia

• Muitos reclamam de filtros excessivamente zelosos (por exemplo, modelos de imagem recusando prompts benignos, modelos de texto recusando consultas comuns).
• A preocupação é que:
  • O ajuste de segurança esteja misturado com a imposição de certas narrativas sociais ou políticas.
  • O excesso de filtragem “lobotomize” os modelos e incentive usuários a fazer jailbreak.
• Outros insistem que guardrails robustos são necessários para evitar danos óbvios (conselhos de autoagressão, guias de tiroteio em escolas etc.).

Riscos sociais, econômicos e políticos

• Os danos previstos incluem:
  • Deslocamento de empregos e menor poder de barganha dos trabalhadores.
  • Concentração de poder em empresas e Estados que melhor possam explorar a IA.
  • Manipulação em massa barata, propaganda segmentada e “movimentos de massa” sintéticos.
  • Delegar sistemas opacos de IA a decisões críticas (finanças, militar, governança) que os humanos não conseguem auditar.

Pesquisa em alinhamento e viabilidade

• Alguns ridicularizam o trabalho atual de segurança/alinhamento em IA como especulativo, parecido com má filosofia ou teologia, com poucos resultados concretos.
• Outros apontam para o trabalho emergente de interpretabilidade e steering e argumentam:
  • Entender os modelos grandes atuais é pré-requisito para lidar com segurança com sistemas mais capazes.
  • Mesmo que muita pesquisa tenha baixo valor, o potencial de dano justifica investimento substancial.

Ética, direitos e valores

• Uma minoria levanta:
  • Possíveis direitos futuros de IA se sistemas se tornarem sencientes ou “dotados de mente”.
  • A contradição entre se preocupar com o bem-estar da IA e tolerar sofrimento animal em larga escala.
• Outros enfatizam que os sistemas atuais são ferramentas inconscientes; falar de ressentimento ou “sentimentos” de IA é visto como especulativo ou antropomórfico.