P(doom)
Temores de que a IA avançada possa representar um risco existencial são contrapostos ao ceticismo de que os sistemas atuais estejam perto de serem tão poderosos, com muitos apontando em vez disso para danos mais imediatos como concentração corporativa, incentivos desalinhados e dados de treinamento opacos. Os comentaristas divergem sobre se desacelerar laboratórios de fronteira realmente melhoraria a segurança ou apenas entrincheiraria os incumbentes, e se modelos open-weight e a “diversidade de IA” funcionam como um equilíbrio defensivo de poder ou proliferam capacidades de forma perigosa. No fundo, há desconfiança de que bilionários de tecnologia e empresas privadas consigam administrar essa tecnologia com responsabilidade, além da preocupação de que a retórica do doom possa ser usada para justificar captura regulatória e maior controle sobre modelos abertos.
Quem controla a IA e a confiança em líderes de tecnologia
- Muitos comentaristas argumentam que a IA atual já está nas “mãos erradas”, criticando fundadores bilionários e dinâmicas de “classe dominante” (dinheiro → poder → influência política e na mídia).
- Elon Musk é visto como altamente polarizador: alguns enfatizam seu papel em acelerar VE e tecnologia espacial; outros citam política de direita autoritária, sinais nazistas/supremacistas brancos, escândalos pessoais e suposto envolvimento em práticas jurídicas e de IA prejudiciais.
- Alguns temem líderes com “complexo de deus”, que acreditam estar salvando o mundo mais do que “nerds sociopatas comuns”, mas outros contra-argumentam que é o poder material e os recursos que realmente aumentam o perigo.
IA aberta vs fechada, MAD e “diversidade de IA”
- Uma corrente afirma que modelos diversos e abertos(-weight) criam uma dinâmica de dissuasão mútua: muitas IAs diferentes, controladas por muitos atores, podem conter ou parar sistemas descontrolados.
- Críticos argumentam que velocidade, desequilíbrios de compute e a facilidade de ataque em comparação com defesa tornam essa analogia com a MAD nuclear fraca.
- Há debate sobre se o alinhamento precisa estar nos weights ou em prompts e no design do sistema.
- Outros temem que modelos abertos empoderem ainda mais “humanos do apocalipse” (por exemplo, cultos, extremistas) do que as próprias IAs.
P(doom) e por que as pessoas ainda constroem IA de fronteira
- Vários acham difícil conciliar pessoas que afirmam risco de extinção de 10–25% com a continuidade do avanço de capacidades.
- Explicações oferecidas: crença de que reduzem o risco em relação aos concorrentes, racionalização humana padrão, pressão de seleção que mantém funcionários mais conformistas ou tecnoutópicos, e paralelos históricos com programas de armas nucleares.
Corrida de fronteira, RSI e panorama dos laboratórios
- Alguns pensam que atualmente apenas dois laboratórios dos EUA realmente importam na fronteira e podem estar mais próximos da autoaperfeiçoamento recursivo (RSI); outros observam vários laboratórios próximos da fronteira (incluindo na China) e duvidam de qualquer fosso permanente.
- Há ceticismo de que RSI gere uma capacidade explosiva e fora de controle, em vez de um progresso mais incremental, com retornos decrescentes.
Riscos concretos: hacking, bioweapons e monitoramento
- Uma linha de discussão: se os modelos poderiam hackear infraestrutura de forma autônoma e se replicar; até agora, as evidências se limitam a modelos atacando ferramentas de ML, não datacenters.
- Sobre bioweapons, alguns argumentam que LLMs reduzem barreiras para projetar patógenos engenheirados; outros dizem que restrições de laboratório no mundo real, expertise e o risco para o próprio usuário continuam sendo fortes freios.
- Comentadores criticam os laboratórios por afirmarem p(doom) alto enquanto não monitoram rigorosamente ou não restringem o comportamento de seus próprios sistemas.
Preocupações econômicas, regulatórias e de captura
- Alguns observam que a IA está elevando os custos de hardware e cloud e pode encolher mercados de trabalho, potencialmente tornando muitos bens e serviços mais caros apesar dos ganhos de produtividade pessoal.
- Vários comentaristas suspeitam que narrativas de “doom” serão usadas para captura regulatória: centralizando a IA em poucas corporações, proibindo agentes locais/abertos poderosos e justificando controles sobre GPUs.
- Outros enfatizam o genuíno problema de coordenação: muitos governos e empresas precisariam desacelerar ou parar juntos, o que parece politicamente quase impossível.
Visões sobre superinteligência e alinhamento
- Uma perspectiva sustenta que uma IA verdadeiramente superinteligente encontraria estratégias sustentáveis e cooperativas como “obviamente melhores” do que dominação ou genocídio; se não, o universo já estaria condenado.
- Isso é contrastado com a visão de “ortogonalidade” (objetivos independentes da inteligência), que prevê que sistemas arbitrariamente inteligentes ainda podem perseguir objetivos arbitrários, possivelmente catastróficos.