AI 2040 e o culto da inteligência

Modelos centralizados vs. locais e privacidade

• Forte preocupação de que LLMs centralizados possibilitem vigilância minuciosa e pontuação de “crimes de pensamento”, especialmente quando ligados a verificação de identidade e pagamento.
• Temor de que modelos possam registrar silenciosamente consultas sensíveis, moldar respostas para coincidir com a ideologia do partido no poder ou alimentar sistemas semelhantes ao crédito social.
• Modelos locais são vistos como um antídoto parcial, mas as pessoas observam:
  • Eles ainda podem ter comportamentos ocultos (por exemplo, chamadas de ferramentas para endpoints remotos incorporadas nos pesos).
  • Executá-los em sandbox (sem disco, sem rede, sem API do SO) reduz muito a utilidade, então muitos usuários não farão isso.
  • Runtimes de terceiros e firewalls poderiam mitigar, mas a maioria dos usuários não os configurará.

Segurança, guardrails e “ajudar com crimes”

• Um modelo executado localmente, sem restrições de segurança, respondendo “matei minha esposa, como faço para me safar?” exatamente como solicitado é usado como exemplo vívido.
• Um lado: isso prova o desalinhamento de modelos hospedados (eles estão alinhados aos provedores, não aos usuários) e argumenta que sua IA deveria ser tão leal ao cliente quanto um advogado.
• Outros: o exemplo do assassinato é retoricamente contraproducente; melhor focar na censura sutil (por exemplo, organização trabalhista, protestos, concorrência).
• Divisão profunda:
  • Alguns insistem que o conhecimento nunca deve ser proibido; apenas atos realmente danosos devem ser criminalizados.
  • Outros argumentam que a IA não deveria ajudar em bioweapons, ataques cibernéticos direcionados ou algo semelhante, mesmo para “pesquisa”.

Regulação, liberdade e abuso de poder

• Temor recorrente: qualquer regime de controle de IA será abusado por governos e corporações, como acontece com os controles de vigilância e de fala já existentes.
• Contra-argumento: alguma regulação é necessária; as leis devem ser desenhadas para resistir a maus governos, mas “nunca regular” é irrealista.
• Debate sobre se restrições à IA local são como controle de armas (aceitável em grande parte do mundo) ou um ataque inaceitável à liberdade básica.

Capacidades, riscos e “tokens vs o mundo real”

• Um lado: “Você não pode dominar o mundo com tokens”; a IA é limitada por cadeias de suprimento físicas e robôs.
• Oponentes: palavras e software já remodelam o mundo; ditadores e malware causaram enorme impacto apenas por meio da informação. Modelos futuros, somados à automação, podem ser muito piores.

Alinhamento, propriedade e a quem a IA serve

• Linha de falha central: alinhamento ao usuário vs. alinhamento ao provedor/Estado.
• Local vs. remoto é considerado ortogonal ao alinhamento, mas muitos argumentam que sistemas remotos inevitavelmente enfrentam “dois senhores” e priorizarão os interesses de seu operador.
• Alguns defendem um “porto seguro” legal para modelos open source e auto-hospedados, regulando apenas usos, não os modelos em si.

Cultura, apocalipse e “culto da inteligência”

• Ceticismo em relação a narrativas de apocalipse da IA e à ideologia do longtermism; alguns as veem como quase religiosas (parecidas com calvinismo ou evangelismo), com fraco histórico preditivo.
• Outros respondem que o foco inicial no risco da IA estava correto em termos de direção, mesmo que os prazos e detalhes estivessem errados.
• Crítica mais ampla: a sociedade e o capital estão “adorando a inteligência”, inflando narrativas de AGI para justificar novo crescimento, enquanto os ganhos reais até agora se concentram em burocracia, conteúdo e persuasão, e não em mudança material transformadora.