Por que os LLMs são tão crédulos?
Afirmações de que grandes modelos de linguagem são “crédulos” provocam debate sobre se suas falhas refletem inteligência infantil, simples correspondência estatística de padrões ou incentivos desalinhados para sempre serem úteis. Os comentaristas discutem até que ponto metáforas humanas devem ser levadas a sério, com alguns enfatizando que os LLMs carecem de consciência, objetivos e compreensão genuína, enquanto outros observam que seu comportamento cada vez mais se assemelha ao raciocínio humano, apesar de terem sido treinados apenas para prever texto. O thread também aborda implicações de segurança e proteção, como jailbreaks e prompt injection, e se sistemas futuros deveriam ser mais desconfiados das entradas dos usuários para evitar comportamentos prejudiciais.
Antropomorfismo e comparações com “nível infantil”
- Alguns argumentam que os LLMs estão em um “nível infantil” de desenvolvimento e passarão por estágios análogos.
- Outros rebatem: o desenvolvimento cognitivo humano é mal definido, e mapear o progresso dos LLMs em estágios infantis é visto como enganoso ou especulativo.
- Contraponto: usar tabelas de desenvolvimento humano como referências aproximadas de capacidade é defendido como pragmaticamente útil, mesmo que isso não implique que os LLMs sejam literalmente como crianças.
Os LLMs realmente raciocinam, ou apenas completam texto?
- Um lado enfatiza os LLMs como “autocomplete avançado” treinado apenas para previsão do próximo token, não para compreensão genuína ou raciocínio abstrato.
- Outros argumentam que isso descarta comportamentos emergentes: mecanismos simples podem gerar habilidades complexas semelhantes ao raciocínio, e não გვაქვს uma definição precisa de “pensar” para excluir isso.
- Há tensão entre ver os LLMs como “papagaios estocásticos” vs. como aproximadores de funções potencialmente capazes, que poderiam aproximar o pensamento humano dado escala e arquitetura.
Credulidade, alinhamento e confiança
- Alguns veem a credulidade como um subproduto de os modelos serem fortemente treinados para seguir instruções do usuário (RLHF), então eles “acompanham” mesmo com prompts adversariais (por exemplo, “napalm grandma”).
- Há debate sobre se realmente quereríamos que sistemas futuros desconfiassem ou ignorassem usuários; um modelo mais “desconfiado” pode ser mais seguro, mas também menos utilizável.
- Outros objetam que atribuir “confiança”, “valores” ou “honestidade” aos LLMs atuais é antropomórfico; isso são apenas vieses na geração de padrões, não motivações internas.
Otimização estatística vs cognição humana
- Uma visão: a otimização estatística é bem especificada e mecânica, enquanto o raciocínio cognitivo não é, tornando a comparação direta suspeita.
- Outros respondem que também não entendemos totalmente as “etapas” internas de redes treinadas, então o contraste é exagerado.
- Há discordância sobre se os cérebros humanos são fundamentalmente diferentes de, ou apenas variantes mais eficientes de, grandes aprendizes estatísticos de padrões.
Segurança, filtros e defesas contra jailbreak
- As sugestões incluem usar “prompts invisíveis” fixos ou filtros de IA separados para pré- e pós-processar entradas/saídas.
- Críticos observam que o que conta como “ofensivo” ou “direto” é por si só difuso e dependente do contexto, o que torna difícil um filtro perfeito.
- Os jailbreaks são vistos como explorando contextos fora da distribuição, sem nexo, onde o condicionamento de segurança é fraco.
Desacordos em nível meta
- Alguns reclamam que o thread está cheio de afirmações fortes, mas fracamente sustentadas, dos dois lados.
- Um tema recorrente: faltam definições claras e testáveis de inteligência, raciocínio ou compreensão, então declarações confiantes sobre o que os LLMs “nunca” podem ser ou fazer são vistas como prematuras.