“Preditor de próximo token” é o modelo mental errado para LLMs
Se modelos de linguagem grandes são “apenas preditores de próximo token” é uma questão contestada por pessoas que argumentam que essa frase é ao mesmo tempo tecnicamente precisa e profundamente enganosa. Comentadores observam que transformers são treinados para prever o próximo token em texto, mas técnicas de pós-treinamento como aprendizado por reforço, uso de ferramentas e estruturas agentivas transformam esse mecanismo básico em um sistema orientado a objetivos, cujo comportamento não pode ser entendido apenas como cópia dos dados de treinamento. Outros respondem que enfatizar qualquer coisa além da predição de próximo token corre o risco de inflar as capacidades das LLMs, e que reconhecer sua natureza probabilística e mecânica é essencial para julgar tanto seus limites quanto seus riscos potenciais.
Precisão do rótulo “preditor de próximo token”
- Muitos argumentam que LLMs são literalmente modelos de probabilidade de próximo token: recebem uma sequência de tokens e produzem uma distribuição sobre o próximo token.
- Outros dizem que isso é tecnicamente verdadeiro, mas redutor de forma enganosa, como chamar um humano de “um saco de substâncias químicas” ou um jato de “apenas uma máquina giratória”.
- Alguns veem “preditor de próximo token” e “papagaio estocástico” como slogans usados para descartar as capacidades e os riscos das LLMs.
Pré-treinamento vs RLHF/RLVR e pós-treinamento
- Vários კომენტadores distinguem fortemente entre:
- Pré-treinamento: predição clássica de próximo token supervisionada contra texto de verdade-terreno.
- Pós-treinamento com RLHF/RLVR: não há “próximo token correto”; em vez disso, sequências inteiras são pontuadas por modelos de recompensa, e os parâmetros são atualizados para aumentar a recompensa.
- Um lado: depois de RL pesado, o modelo é melhor visto como uma política ou um sistema de “busca de objetivos / orientação de resultados”, não como um preditor puro de próximo token.
- Lado oposto: apesar das mudanças de objetivo, a arquitetura e a interface ainda se reduzem a distribuições de próximo token, então o rótulo continua adequado.
Predição vs decisão / otimização
- Disputa sobre a palavra “predizer”: alguns insistem que predição exige verificação contra uma verdade externa; RL é, em vez disso, otimização sobre recompensa.
- Outros argumentam que escolher o token que maximiza a recompensa esperada ainda é uma forma de predição (de resultados ou recompensas), só que com um alvo diferente.
- Analogias com xadrez são muito debatidas: um motor está “predizendo a próxima jogada” ou “escolhendo uma jogada que vence”?
Capacidades, limites e emergência
- Um lado: escalonar a predição de próximo token + compressão de padrões textuais naturalmente produz habilidades gerais, incluindo comportamento semelhante ao raciocínio.
- Outro lado: os modelos ainda falham com frequência, não conseguem codificar ou raciocinar de forma confiável e não “entendem” correção; eles otimizam padrões, não a verdade.
- Propriedades emergentes são notadas, mas alguns alertam que isso não implica capacidades ilimitadas ou semelhantes às de uma AGI.
Modelos mentais alternativos
- Metáforas propostas incluem: “preditor de próximo embedding / próximo significado”, “casador de padrões”, “política”, “direcionador de resultados”, “dados viciados”, “sistema agente construído em torno de um preditor”.
- Tendência de consenso: múltiplas abstrações são úteis; “preditor de próximo token” é válido, mas incompleto, especialmente para sistemas modernos agentivos e ajustados com RL.
Meta: política, hype e estilo de escrita
- Alguns veem tentativas de ir além de “preditor de próximo token” como hype para inflar o status da IA; outros veem a banalização como uma forma de evitar lidar com riscos.
- Vários comentadores reclamam que o artigo soa como prosa “estilo IA” e debatem se a escrita assistida por IA mina a credibilidade.