A escalada vai funcionar?
O debate sobre se simplesmente aumentar a escala dos grandes modelos de linguagem pode levar à inteligência geral artificial gira em torno de limites de dados, lacunas arquiteturais e do que realmente significa “inteligência”. Céticos apontam para as altas exigências de dados dos LLMs, o planejamento e raciocínio fracos, a falta de aprendizado contínuo e alegações duvidosas de capacidades emergentes, argumentando que novas arquiteturas ou sistemas incorporados serão necessários. Os otimistas contra-argumentam que dados melhores, treinamento multimodal, uso de ferramentas e self-play — combinados com avanços algorítmicos futuros e investimento massivo — ainda podem levar as abordagens atuais em direção ou além de capacidades de nível humano.
Escopo do Debate
- A discussão foca em se o aumento da escala dos LLMs atuais (mais dados, parâmetros e computação) pode levar à AGI, ou se existem limites rígidos que exigem novas ideias.
- Muitos distinguem entre “ferramenta útil” (já alcançada) e “AGI” (mal definida, muitas vezes implicitamente semelhante à humana ou além dela).
Escala, Dados e Limites
- Um lado enfatiza a “lição amarga”: mais dados e modelos maiores continuam gerando melhores capacidades; os modelos atuais provavelmente estão subtreinados e são majoritariamente apenas de texto.
- Outros argumentam que dados são um gargalo duro: afirmam que estamos múltiplas ordens de magnitude abaixo do que as leis de escala sugerem, e que 100.000× mais dados não é trivial.
- Há discordância sobre se dados corporativos privados (e-mails, documentos, chamadas, reuniões) e dados sintéticos podem plausivelmente fechar essa lacuna.
- Vários observam que qualidade dos dados, curadoria, ordenação e destilação de dados sintéticos (por exemplo, modelos menores superando modelos grandes mais antigos) talvez importem mais do que o volume bruto neste momento.
Arquitetura, Raciocínio e Generalização
- Céticos afirmam que transformers treinados para previsão do próximo token principalmente interpolam, memorizam e combinam padrões; eles carecem de extrapolação genuína, raciocínio robusto, planejamento e memória de longo prazo.
- Exemplos de falhas em tarefas de planejamento, benchmarks de revisão de PR e raciocínio frágil são citados como evidência de que apenas escalar talvez não corrija essas lacunas.
- Outros contrapõem com experiências práticas: LLMs resolvem tarefas novas de programação, funcionam em codebases privadas e exibem comportamento multilíngue e multimodal que parece verdadeira generalização.
- Há debate sobre “capacidades emergentes”: alguns as chamam de ilusões decorrentes da escolha de métricas; outros apontam saltos qualitativos claros (por exemplo, resposta multilíngue, geração de código).
Inteligência Humana vs. LLMs
- Comparações destacam que humanos aprendem com muito menos dados, em fluxos multimodais ricos e por meio de muitos paradigmas de aprendizado (não supervisionado, RL, ativo etc.).
- Alguns argumentam que humanos são essencialmente modelos avançados de sequência; com escala suficiente e entradas mais ricas, propriedades semelhantes poderiam surgir em máquinas.
- Outros apontam a complexidade do cérebro, incorporação, instintos, emoções e consciência como qualitativamente diferentes; duvidam que preditores de texto alcancem AGI sem novos mecanismos (loops de planejamento, aprendizado online, interação com o mundo físico).
Hype, Impacto e Trajetória
- Há amplo acordo de que os LLMs já entregam grande valor: interfaces em linguagem natural, sumarização, busca semântica, assistência em código e automação de tarefas.
- As opiniões divergem sobre o ciclo de hype: alguns veem que ainda estamos subindo; outros veem promessas excessivas sobre AGI para sustentar financiamento.
- Uma visão intermediária comum: os futuros sistemas “semelhantes a AGI” provavelmente serão composições — LLMs mais ferramentas, memória, simuladores e motores de raciocínio — em vez de um único modelo apenas ampliado.