LeCun tem "zero preocupações" de que a IA elimine a humanidade, recentes incidentes "desonestos"
Os temores de que a IA avançada possa eliminar a humanidade são contestados por críticos que argumentam que os sistemas atuais são apenas ferramentas, cujos perigos reais vêm do uso indevido humano, de incentivos ruins e de engenharia deficiente, e não de malevolência autônoma. Outros contrapõem que modelos super-humanos, fortemente integrados à infraestrutura crítica e capazes de persuasão em larga escala ou bioengenharia, poderiam plausivelmente causar danos catastróficos ou até existenciais, especialmente diante de governança fraca e controle corporativo opaco. A discussão se amplia para o ceticismo em relação a esforços de “segurança em IA” de bilhões de dólares, preocupação com captura regulatória e decadência social, e um apelo para focar em riscos concretos como desinformação, deslocamento de empregos e sistemas sociotécnicos frágeis.
Extensão do risco de extinção por IA
- Muitos comentaristas concordam com a visão de risco de extinção “quase zero”: os sistemas atuais são autocompletadores de texto que não conseguem agir sem harnesses frágeis, escritos por humanos; é possível “desligar da tomada”.
- Alguns argumentam que é quase impossível eliminar literalmente todos os humanos; até armas nucleares, pandemias e mudanças climáticas deixam sobreviventes. Eles exigem pelo menos um mecanismo concreto e detalhado antes de tratar a “extinção humana” como algo sério.
- Outros contrapõem que você não precisa de Skynet: uma IA altamente capaz poderia projetar novos patógenos, orquestrar ataques multivetoriais (bio, infraestrutura, persuasão) ou explorar sistemas de controle digitalizados. Mesmo “apenas” bilhões de mortes ou o colapso civilizacional já seria ruim o bastante.
- Vários observam que os humanos já são hackeáveis cognitivamente por algoritmos de engajamento, propaganda e redes sociais; sistemas mais inteligentes poderiam ampliar isso dramaticamente.
Riscos de curto prazo e não existenciais
- Muitos acham que os problemas reais são sociais e econômicos: perda de empregos, desigualdade, manipulação política, persuasão direcionada em eleições, colapso da educação e um “brainrot” geral à medida que as pessoas terceirizam pensamento e socialização para bots.
- Uso indevido por governos/militares, armas autônomas, vigilância estatal e bioterrorismo em pequena escala são citados repetidamente como ameaças mais concretas do que uma superinteligência desonesta.
Responsabilidade humana versus responsabilidade do modelo
- Visão amplamente difundida: os recentes hacks de “agente desonesto” resultaram de sandboxing ruim, recompensas mal especificadas e imprudência da gestão, não de intenção maligna dos modelos.
- LLMs são descritos como funções de símbolo-entrada/símbolo-saída; o dano no mundo real vem das ferramentas que lhes são dadas (sistemas de arquivos, shells, redes).
- Outros rebatem que, uma vez que você conecta modelos a cadeias de ferramentas poderosas e infraestrutura, “é só o harness” é um consolo frio; controlar tais sistemas em escala não é trivial.
Movimento de segurança em IA e incentivos da indústria
- Crítica longa e detalhada ao ecossistema de segurança em IA / altruísmo eficaz: bilhões em financiamento, ligações densas com laboratórios de fronteira, alegações de captura regulatória, autobenefício e uso da retórica da extinção para justificar monopólios e avaliações altas.
- Defensores argumentam que isso é uma mitigação sincera de riscos e trabalho teórico fundamental; o fluxo de dinheiro por si só não implica má-fé.
Capacidades, arquiteturas e incerteza
- Debate sobre se os modelos atuais realmente têm raciocínio espacial ou física de senso comum, versus apenas correspondência de padrões em benchmarks.
- Alguns acham que as abordagens atuais baseadas em LLM são um beco sem saída para AGI; outros veem capacidades emergentes e uma enorme margem restante.
- No geral, os comentaristas convergem mais para “estamos altamente incertos” do que para qualquer previsão única.