O que acontece quando um LLM nunca vê material além da quinta série?

Artigo original ↗ Discussão no Hacker News ↗

Limitar os dados de treinamento de um modelo de linguagem a material curricular K–5 dos EUA produz uma IA que pode imitar uma criança muito bem lida, mas ainda alucina e responde com confiança muito além do seu suposto nível de conhecimento. Os comentaristas examinam o quão bem a filtragem por série funcionou, se esse modelo pode algum dia dizer de forma confiável “eu não sei” e o que isso implica para os LLMs em geral — isto é, que suas capacidades são fortemente limitadas pelo pré-treinamento, e não por uma “inteligência” abstrata emergente. Alguns veem isso como uma investigação útil sobre tetos de conhecimento e humildade em modelos; outros argumentam que isso apenas confirma que os sistemas atuais ainda são autocomplete sofisticado, e não raciocinadores verdadeiros.

Escopo e configuração do experimento

  • O modelo é treinado em texto filtrado para aproximadamente “≤5ª série” / currículo K–5 dos EUA.
  • Pipeline de filtragem: começar com um corpus educacional da web, aplicar limites de idade de aquisição de palavras (descartar amostras em que >5% das palavras excedam a idade de 12 anos), remover símbolos matemáticos de nível superior e, então, treinar um classificador para refinar a separação.
  • Alguns comentaristas querem mais transparência: exemplos de dados incluídos e verificações humanas do nível escolar; o conjunto de dados ainda não foi divulgado.

Preocupações com vazamento e qualidade dos dados

  • Várias respostas sugerem que o modelo claramente conhece conceitos além da 5ª série (espalhamento de Rayleigh, emaranhamento quântico, piadas sobre o gato de Schrödinger, Python básico etc.).
  • As pessoas especulam que o filtro é imperfeito; “5% de palavras avançadas permitidas” e material infantil escrito por adultos podem contrabandear conhecimento de nível superior.
  • Outros argumentam que muitas dessas explicações de fato aparecem em livros científicos para crianças, então ainda podem estar dentro de um corpus K–5 plausível.

Comportamento, qualidade das respostas e “inteligência de quinta série”

  • Usuários relatam respostas extremamente erradas ou incoerentes (por exemplo, tabuada do cinco, raiz quadrada de −1, impacto do amianto, maximização de uma função, algoritmos de ordenação causando um loop infinito).
  • Alguns veem isso como “apenas um modelo fraco”, não como um análogo principiológico de um aluno da quinta série; uma criança real muitas vezes diria “eu não sei”.
  • Outros o comparam a um leitor onívoro de todos os textos do ensino fundamental, com memória perfeita, mas pouca reflexão genuína.

Alucinações, incapacidade de dizer “eu não sei” e RLHF

  • Uma grande subthread debate por que LLMs raramente dizem “eu não sei”:
    • Uma visão: modelos base imitam textos nos quais as pessoas quase nunca terminam com “eu não sei”.
    • Visão contrária: ajuste por instrução e RLHF podem treinar explicitamente os modelos a expressar incerteza, mas isso compete com benchmarks que recompensam respostas confiantes.
  • Discussão sobre comportamento de “sabe-tudo”: LLMs como bajuladores, raramente recusando ideias de forma subjetiva; outros observam que modelos de fronteira mais novos de fato fazem mais contrapontos ou corrigem usuários com mais frequência.
  • Alguns conectam o RLHF à redução de variância: menos recusas podem maximizar pontuações em benchmarks e engajamento.

Limites de capacidade e implicações para AGI

  • A principal alegação do artigo (como parafraseada no thread): escala, ajuste por instrução, RL e truques de in-context amplificam o que o currículo ensina, mas não vão além dele; o filtro de pré-treinamento define um teto efetivo de capacidade.
  • Muitos consideram esse resultado importante: sugere que a inteligência é fortemente limitada pelo escopo dos dados de treino, desafiando a esperança de que a mera escala gere conhecimento qualitativamente novo a partir de corpora limitados.
  • Alguns veem isso como confirmação das críticas de “papagaio estocástico”; outros permanecem interessados em saber se treinamento de raciocínio mais forte, memória e tarefas de longo horizonte ainda poderiam gerar descobertas novas mesmo a partir de um currículo restrito.

Ideias alternativas de treinamento e usos potenciais

  • As propostas incluem:
    • Treinamento estrito baseado em currículo ao longo das séries, com checkpoints em cada nível escolar.
    • Crescimento guiado pela curiosidade: quando o modelo admite ignorância, um modelo maior busca e adiciona novos dados.
    • Treinamento em corpora altamente verificados e bem balanceados, em vez de misturas ruidosas da web.
  • Alguns veem aplicações de nicho: um modelo K–5 restrito para automação residencial ou assistentes mais seguros, embora persistam preocupações com alucinações contínuas.