Demis Hassabis tem um plano para aproveitar a IA com segurança
Um apelo de uma figura proeminente da IA por um órgão quase independente nos EUA para testar e certificar modelos de IA “frontier” antes do lançamento reacendeu o debate sobre como, e se, sistemas avançados devem ser regulados. Os apoiadores veem testes de segurança pré-lançamento e padrões compartilhados como prudentes diante da alegação de que a inteligência artificial geral pode estar a apenas alguns anos de distância, enquanto os críticos argumentam que isso é especulativo, corre o risco de captura regulatória por grandes laboratórios e ignora danos mais imediatos, como perda de empregos, desinformação e concentração de poder. Muitos comentaristas questionam o realismo das visões de “pós-escassez” e enfatizam que a vontade política, as estruturas econômicas e a aplicação — e não apenas salvaguardas técnicas — determinarão quem realmente se beneficia da IA poderosa.
Cronograma da AGI e plausibilidade
- A premissa do artigo de que a AGI em nível de cérebro está “a poucos anos de distância” é fortemente contestada.
- Críticos dizem que não há evidência sólida de que o aumento de escala nos levará até lá tão cedo; os LLMs ainda falham em tarefas básicas e se assemelham a sistemas estreitos e frágeis.
- Outros argumentam que o progresso rápido recente é exatamente o motivo pelo qual planejar a segurança agora é racional, mesmo que os prazos sejam incertos.
Pós-escassez, desigualdade e distribuição
- Muitos duvidam que a AGI crie uma verdadeira pós-escassez; terra e localizações desejáveis continuam inerentemente escassas.
- Mesmo onde a escassez técnica foi em grande parte resolvida (por exemplo, alimentos em países ricos), a distribuição e a política ainda produzem fome e falta de moradia.
- Vários apontam que saltos tecnológicos passados não corrigiram automaticamente a desigualdade; muitas vezes a ampliaram até que a redistribuição fosse imposta.
Proposto órgão de segurança de IA e regulação
- O regulador “frontier AI” proposto, semelhante à FINRA, faria benchmarks dos modelos, classificaria “frontier labs” e imporia deveres de segurança (testes, model cards, segurança etc.).
- Os apoiadores acham que o governo sozinho é lento demais e a autorregulação da indústria é fraca demais, então um SRO híbrido poderia acrescentar agilidade.
- Os céticos veem metas vagas, pouca aplicabilidade e duvidam que agentes mal-intencionados cumpririam.
Poder, incentivos e captura regulatória
- Muitos veem a proposta como uma tentativa de captura regulatória: grandes laboratórios usando “segurança” para controlar o acesso, desacelerar concorrentes e excluir modelos abertos/autogeridos.
- As preocupações incluem exigências que pequenos laboratórios não conseguem cumprir, manipulação de benchmarks (inflando ou reduzindo deliberadamente as pontuações) e concentração de poder em algumas empresas dos EUA alinhadas ao governo.
- Há uma profunda desconfiança de que empresas dominantes compartilhem os ganhos impulsionados pela AGI, dado o atual evitamento de impostos e a concentração de riqueza.
Riscos reais/atuais vs catástrofe especulativa
- Vários argumentam que os maiores danos de curto prazo são: substituição de empregos, propaganda e desinformação, vigilância, erosão da confiança na mídia e centralização do poder.
- Eles veem a retórica de “risco existencial” como alarmismo que desvia a atenção desses मुद्दos concretos e justifica mais controle por parte dos incumbentes.
- Outros sustentam que riscos catastróficos de longo prazo (por exemplo, perda de controle sobre sistemas superinteligentes) são plausíveis o suficiente para que estruturas preventivas sejam justificadas.
Contexto internacional e geopolítico
- Muitos duvidam que uma estrutura definida pelos EUA ganhe ampla adesão internacional, citando a confiança erodida nos compromissos de tratados dos EUA e o ressentimento pela “hegemonia” americana.
- Alguns observam que a China e outros podem adotar controles semelhantes, mas outros acham que a rivalidade entre grandes potências e os incentivos para correr impedirão limites globais significativos.
Consciência, direitos e “escravidão da IA”
- Um longo subthread debate se a futura AGI poderia ser um paciente moral com direitos.
- As posições vão de “são apenas elétrons, escravidão não se aplica” a “se a AGI tiver qualia/consciência, usá-la como ferramenta seria escravidão”.
- Não há acordo sobre se inteligência implica consciência, ou sobre como sequer detectaríamos qualia em máquinas.
Modelos abertos e atores menores
- O regime proposto isentaria modelos mais fracos, mas, ao cruzarem os limites “frontier”, eles seriam regulados.
- As pessoas antecipam tanto a busca por benchmarks quanto o subdesempenho deliberado para evitar fiscalização.
- Há preocupação de que modelos fechados e em grande escala se tornem infraestrutura opaca influenciando a sociedade sem visibilidade pública ou entrada democrática.
Evidências do valor da IA até agora
- Alguns perguntam quais problemas realmente transformadores a IA resolveu para justificar o hype da AGI.
- As respostas destacam sucessos especializados como o dobramento de proteínas e argumentam que sistemas gerais não precisam existir ainda para que o planejamento de segurança seja relevante.