Modelos de Linguagem de Grande Porte São Raciocinadores Neurossimbólicos

Percepção da afirmação de “raciocinador neurossimbólico”

• Alguns veem o artigo como confirmando algo óbvio: LLMs podem implementar operações semelhantes às simbólicas sobre texto, mas isso não parece um grande passo à frente.
• Outros acham que ainda é útil formalizar e medir essas capacidades, especialmente por meio de jogos de ficção interativa (IF), em que ações e estado do mundo estão em linguagem natural.
• Há debate sobre o que “raciocinador” significa; o título é visto por alguns como retoricamente forte, sem uma definição clara.

Redes neurais são apenas tabelas de consulta?

• Um longo subthread argumenta que toda rede neural finita é uma função numérica e, portanto, equivalente a uma enorme tabela de consulta; logo, ela “não pensa”.
• Contra-argumentos:
  • O mesmo raciocínio faria humanos e o universo serem tabelas de consulta sob determinismo; se isso é permitido, “não pensar” vira uma definição pouco útil.
  • A equivalência com tabela de consulta é matematicamente verdadeira para qualquer programa finito, mas não captura como generalização, compressão e interpolação funcionam.
  • Redes recorrentes/com estado, precisão arbitrária e conexões com o problema da parada mostram sutilezas: algumas tabelas seriam infinitas ou incomputáveis.
• Discordância sobre se a física é fundamentalmente computável; alguns invocam limites de Bekenstein e informação finita, outros argumentam que modelos contínuos e de valores reais resistem à discretização completa.

Humanos vs máquinas: pensamento, incorporação e consciência

• Um lado insiste que humanos não podem ser reduzidos a tabelas “nem em teoria” porque biologia, incorporação e experiência subjetiva importam; software é “só números”.
• Outros argumentam que humanos são sistemas mecanicistas de partículas/campos; em princípio, todas as entradas/saídas podem ser descritas numericamente, então recusar a equivalência com tabela é inconsistente.
• Defensores da cognição incorporada enfatizam movimento, ciclos sensório-motores, plasticidade e objetivos em um mundo compartilhado; LLMs apenas comprimem e reproduzem texto, sem intenções ou ancoragem causal no mundo.
• Oponentes afirmam que argumentos “místicos” semelhantes foram historicamente usados contra mentes mecanicistas e não veem razão para que o silício não possa, eventualmente, sustentar mentes ou agência.

Capacidades de raciocínio e limites dos LLMs

• Muitos concordam que LLMs frequentemente falham em raciocínio multi-etapas ou “multi-hop” sem prompts de chain-of-thought; erros se acumulam e alucinações aparecem.
• Alguns argumentam que isso mostra que eles não raciocinam de verdade, apenas recombinam padrões do treinamento; Advent of Code e bugs sutis de concorrência são citados como falhas em problemas inéditos.
• Outros contrapõem que chain-of-thought é exatamente como humanos raciocinam, e que autocritica ou configurações multiagentes já melhoram a confiabilidade.
• Há debate sobre se a correspondência estatística de padrões sobre texto pode gerar modelos genuínos do mundo ou apenas aproximar a distribuição da linguagem.

Jogos como benchmarks de raciocínio

• O sucesso do artigo em jogos de IF em texto é visto como promissor, porque regras e estado estão em linguagem natural.
• Vários comentaristas propõem testes mais difíceis: NetHack, Zork, roguelikes complexos ou Diplomacy, onde planejamento, exploração e informação oculta importam.
• NetHack gera um debate lateral detalhado:
  • Alguns afirmam que ele é praticamente impossível de vencer sem “spoilers” (conhecimento externo) devido à mecânica opaca e à forte aleatoriedade.
  • Outros observam jogadores especialistas com altas taxas de vitória e sugerem que agentes de RL, com corridas suficientes, poderiam inferir mecânicas úteis apesar do ruído.
• Uma linha de trabalho citada usa LLMs para fornecer recompensas intrínsecas para agentes de RL em NetHack; outro sistema usa uma interface em texto para arquivos, onde o GPT‑4 consegue retroceder e pesquisar, mas o GPT‑3.5 sofre.

Sistemas simbólicos e abordagens híbridas

• Um projeto injeta estruturas computacionais explícitas (cálculo lambda, pilhas, filas) nos internos de LLMs para obter raciocínio mais confiável, semelhante a programas, sobre estados latentes.
• Uma corrente contrastante aponta para a IA simbólica clássica como Cyc, que usa inferência lógica explícita e uma base de conhecimento manual/derivada, argumentando que ela “realmente raciocina” e não alucina.
• Críticos questionam se usar redes neurais para sintetizar programas vale o custo de treinamento massivo e o uso de energia, especialmente se o produto final é um programa convencional.
• Defensores respondem que a síntese automática de programas ainda pode ser mais barata e escalável do que pagar humanos, e que as redes neurais permitem que tais sistemas aproveitem o conhecimento existente dos LLMs.

Meta: recursos de aprendizado e terminologia

• Um comentarista pede boas formas de acompanhar os desenvolvimentos em LLMs; outros sugerem usar a busca do site para encontrar conteúdo introdutório e tutoriais.
• Vários participantes enfatizam que o uso frouxo de termos como “informação”, “entropia” e “modelo do mundo” entre física, CS e ML causa confusão nesses debates.