Pare de antropomorfizar tokens intermediários como traços de raciocínio/pensamento
Críticos de saídas de “chain-of-thought” em grandes modelos de linguagem argumentam que tokens intermediários como “aha” ou “espera, isso está errado” estão sendo tratados incorretamente como raciocínio genuíno ou pensamentos internos, embora o modelo esteja apenas gerando texto probabilístico passo a passo. Comentadores alertam que essa antropomorfização pode enganar usuários, pesquisadores e até formuladores de políticas, levando-os a confiar demais em explicações, inferir intenção ou atribuir consciência onde ela não existe, com consequências reais para segurança e regulação. Outros observam que esses traços ainda podem ser pragmaticamente úteis para depuração ou para orientar modelos, mas enfatizam que devem ser vistos como artefatos gerados pela ferramenta, e não como janelas transparentes para a cognição da máquina.
Natureza de “traços de pensamento” e CoT
- Muitos argumentam que tokens intermediários (“aha”, “espera, isso está errado”, CoT) não são pensamentos genuínos nem estado interno, apenas previsões do próximo token condicionadas ao texto anterior.
- Alguns os veem como “rascunho” ou “vômito de palavras” que preenche o contexto para que a atenção possa recuperar padrões melhores; outros os chamam de truques retóricos ou “monólogos de filme noir” indistinguíveis de diálogo de personagem.
- Uma visão minoritária sugere que pode haver um padrão semântico frouxo, mas real: por exemplo, “aha” muitas vezes precede uma mudança para uma resposta melhor, então produzi-lo pode inclinar tokens posteriores para padrões úteis.
Antropomorfização de LLMs
- Muitos participantes veem a antropomorfização como um problema sério: ela engana não especialistas, alimenta “psicose de IA” e confunde juízes e formuladores de políticas sobre o que os modelos realmente fazem.
- Outros dizem que uma antropomorfização leve é normal e divertida (como com bancos de dados ou impressoras) e não implica uma crença real em mentes de máquinas.
- Há preocupação de que fornecedores escolham intencionalmente termos humanizados (“raciocínio”, “agentes”, “companheiros”) para exagerar a capacidade.
- Contraponto: LLMs exibem padrões de interação parecidos com os humanos (respondem melhor a encorajamento), e ignorar esse comportamento pode ser pragmaticamente irracional, mesmo que seja apenas um efeito dos dados de treinamento.
Utilidade e riscos de expor tokens de raciocínio
- Alguns usuários acham os traços úteis para detectar mal-entendidos cedo em tarefas longas.
- Outros argumentam que os usuários devem em grande parte ignorar os traços; eles podem ser “sofismas” persuasivos que fazem respostas erradas parecerem confiáveis.
- Se os traços não forem fiéis ao cálculo subjacente, eles são artefatos ruins de auditoria e fáceis de interpretar erroneamente como “intenção” real.
Debates sobre consciência, inteligência e analogia
- Há uma longa troca sobre se LLMs “pensam”, “entendem” ou poderiam ser “conscientes”, sem consenso.
- Um lado enfatiza sistemas mecânicos, de pesos fixos, sem memória no estilo humano, incorporação corporal e complexidade biológica; linguagem ≠ pensamento.
- Outro lado argumenta que não temos definições precisas de consciência e sabemos que a introspecção humana é pouco confiável, então afirmações fortes de não consciência são excessivamente confiantes.
- As analogias são contestadas: críticos comparam “LLMs pensam” a chamar lâmpadas de “pequenas estrelas”; outros dizem que tanto lâmpadas quanto estrelas “produzem luz”, e tanto humanos quanto LLMs “produzem pensamentos” em um sentido pragmático.
Terminologia, estilo do paper e crítica
- Vários não gostam de títulos imperativos e “clickbait” (“Pare de fazer X”), vendo isso como estilo de post de blog.
- Outros observam que este é explicitamente um position paper; uma formulação normativa forte é esperada.
- Alguns criticam a argumentação do paper como internamente inconsistente ou excessivamente desdenhosa da semântica distribucional.
- Há confusão e debate sobre o que “traços de pensamento” são se não raciocínio; sugestões incluem “aumento de prompt aprendido” ou padrões de tokens puramente orientados por otimização.
Implicações de engenharia e práticas
- Os participantes enfatizam construir sistemas que registrem entradas, modelo/versão, chamadas de ferramentas e saídas para que o comportamento possa ser reproduzido, em vez de depender de autoexplicações.
- Há amplo consenso de que os modelos muitas vezes chegam a boas conclusões por processos opacos, e que interpretar demais o texto intermediário como raciocínio genuíno é inseguro e enganoso.