Discordo de Geoff Hinton em relação a "autocompletar glorificado"

Artigo original ↗ Discussão no Hacker News ↗

A alegação de que grandes modelos de linguagem são “apenas autocompletar glorificado” é confrontada com o contra-argumento de que uma predição altamente precisa do próximo termo pode exigir modelos internos genuínos de significado ou “compreensão”. Os comentaristas examinam o que compreensão, inteligência e modelos de mundo realmente significam, comparando LLMs à cognição humana, a IAs que jogam jogos e ao software tradicional, e destacando lacunas atuais como memória de longo prazo, planejamento, comportamento orientado a objetivos e abstração confiável. Embora muitos concordem que os modelos de hoje ficam aquém do raciocínio semelhante ao humano, há discordância sobre se o aumento de escala e um melhor treinamento eventualmente preencherão essa lacuna ou se novas arquiteturas serão fundamentalmente necessárias.

Estilo e prompting do ChatGPT

  • Vários comentaristas não gostam da verbosidade padrão do ChatGPT e do estilo carregado de listas.
  • Mitigações relatadas: instruções personalizadas (“seja muito conciso”), prompts explícitos de tom/comprimento ou pedidos de acompanhamento para “reescrever de forma menos verbosa.”
  • Alguns observam que os modelos base são menos verbosos e que o RLHF amplifica a polidez e o comprimento.

“Autocompletar” vs. “Compreensão”

  • Um lado: a predição do próximo token pode permanecer puramente estatística; prever com precisão não exige “compreensão.”
  • Outros argumentam que uma predição altamente capaz exige, na prática, construir abstrações internas e modelos do mundo, o que é uma forma de compreensão.
  • Várias pessoas observam que “compreensão” é mal definida; dependendo da definição, tanto humanos quanto LLMs podem compreender, ou nenhum deles compreende.
  • Alguns dizem que insistir que só humanos podem “realmente” compreender é apenas antropocentrismo ou semântica.

Paralelos com a cognição humana

  • Muitos apontam que o cérebro humano também faz processamento preditivo na linguagem e na percepção; grande parte da fala cotidiana parece “autocompletar.”
  • Faz-se uma distinção entre pensamento associativo rápido (Sistema 1) e raciocínio deliberativo lento (Sistema 2); alguns argumentam que LLMs exibem principalmente comportamento semelhante ao do Sistema 1, com algum raciocínio emergente ocasional semelhante ao do Sistema 2.
  • Outros enfatizam que humanos têm objetivos, memória de longo prazo e podem planejar antes de falar, enquanto LLMs carecem de objetivos intrínsecos e memória persistente.

Capacidades, generalização e limitações

  • Exemplos em que LLMs se saem bem: novos problemas de matemática, ajuda com programação, quebra-cabeças lógicos (às vezes), aprender novas sintaxes em conversa.
  • Contraexemplos: falhas frágeis em variações pequenas de quebra-cabeças, benchmarks de abstração visual (por exemplo, ConceptARC) e erros matemáticos ou de código “bisonhos” que indicam compreensão conceitual superficial.
  • Vários observam falta de insight: humanos às vezes reformulam ou rejeitam a pergunta (por exemplo, sugerindo uma solução mais simples sem código), enquanto LLMs tendem a permanecer dentro da tarefa declarada.
  • Alucinações e dificuldade em dizer “não sei” são destacados como limitações importantes.

Arquiteturas, processos de Markov e teoria da informação

  • Debate sobre se transformers são “apenas cadeias de Markov”:
    • Um lado: contexto finito e dependência do próximo passo parecem markovianos.
    • O outro lado: estado interno e atenção sobre todo o contexto violam pressupostos markovianos simples; chamar isso de Markov é visto como uma simplificação excessiva.
  • Alguns argumentam que minimizar a cross-entropy no texto mais regularização força efetivamente os modelos a representações comprimidas do “grafo de informação” subjacente do mundo.

Modelos de mundo, semântica e verdade

  • Discordância sobre se LLMs modelam o mundo ou apenas padrões no texto humano.
  • Uma visão: eles “mapeiam os mapas” (textos sobre a realidade), e não a realidade em si, como uma versão sofisticada da Sala Chinesa.
  • Outros respondem que os humanos também acessam o mundo apenas por meio de dados sensoriais limitados e linguagem; ambos os sistemas constroem modelos internos a partir de evidência indireta.
  • Há discussão sobre a capacidade dos LLMs de acompanhar verdade versus ficção, com referências (no próprio fio) a trabalhos sobre calibração e incerteza; os céticos respondem que os modelos ainda carecem de uma noção fundamentada de verdade.

AGI, mudança das metas e analogias

  • A maioria concorda que os LLMs atuais não são AGI; ainda falham de maneiras “estúpidas”, apesar de fortes resultados em benchmarks.
  • Alguns argumentam que os críticos continuam “mudando as metas” (por exemplo, exigindo a invenção de nova matemática) sempre que uma capacidade é alcançada.
  • AlphaZero/Go é usado como analogia: self-play com um objetivo claro mostra o quão poderosas podem ser a predição e o reconhecimento de padrões, mas outros alertam que jogos são mundos fechados, ao contrário da linguagem e da realidade abertas.

Meta: utilidade da moldura de “autocompletar”

  • Alguns veem “autocompletar glorificado” como pejorativo, mas tecnicamente compatível com inteligência forte: um “autocompletar” suficientemente poderoso poderia incorporar raciocínio profundo.
  • Outros acham que o debate sobre rótulos (“autocompletar”, “compreensão”, “inteligência”) é menos útil do que a avaliação empírica concreta de capacidades e modos de falha.