Chomsky e as duas culturas da aprendizagem estatística (2011)

Aprendizado de máquina estatístico e linguística baseada em regras colidem em um debate de longa data sobre como a linguagem é melhor modelada e compreendida. Comentadores contrastam sistemas probabilísticos e orientados por dados, como os grandes modelos de linguagem modernos, com teorias que postulam uma rica estrutura gramatical inata, discutindo o que conta como explicação científica versus mera engenharia. A troca destaca questões em aberto sobre como os humanos realmente adquirem linguagem, se a IA atual oferece um modelo cognitivo significativo e até que ponto métodos probabilísticos podem capturar os aspectos “criativos” do uso da linguagem.

Modelos probabilísticos e “simplicidade”

  • Vários comentaristas contestam a afirmação de que modelos probabilísticos são a forma “mais simples” de lidar com a incerteza.
  • Objeções: eles exigem cálculos enormes e vastos volumes de dados; muitas vezes funcionam como caixas-pretas que não “modelam” mecanismos, apenas correlações.
  • Outros argumentam que “simples” significa conceitualmente natural para fenômenos inerentemente estocásticos (por exemplo, percepção ruidosa), mesmo que sejam computacionalmente pesados.

Outras maneiras de representar a incerteza

  • Alternativas mencionadas: modelos determinísticos com variáveis desconhecidas, lógica ternária (verdadeiro/falso/desconhecido), lógica fuzzy, retrocesso/busca em feixe com heurísticas.
  • Alguns veem essas abordagens como mais grosseiras ou “probabilidades disfarçadas” (por exemplo, “desconhecido” ≈ algum intervalo entre 0 e 1).
  • Em domínios aplicados como o clima, a previsão probabilística por ensembles é descrita como a única abordagem prática conhecida até agora.

Engenharia vs ciência e o que os modelos explicam

  • Uma corrente: o sucesso da engenharia com métodos probabilísticos/estatísticos é evidência de que os sistemas subjacentes são pelo menos parcialmente estatísticos.
  • Visão oposta: tecnologia funcional não explica automaticamente fenômenos naturais (aviões vs pássaros, LLMs vs humanos); ela pode apenas aproximar o comportamento.
  • Há debate sobre se os modelos de linguagem atuais são bons modelos científicos da cognição humana ou apenas ferramentas poderosas.

LLMs, aprendizagem de linguagem e inatismo

  • Alguns argumentam que os LLMs mostram que a linguagem pode ser aprendida de novo por exposição e que a inteligência pode ser menos misteriosa do que se supunha.
  • Críticos respondem: os modelos precisam de muitas ordens de magnitude mais texto e computação do que as crianças; aprendizes humanos têm entrada multimodal rica e fortes vieses inatos moldados pela evolução.
  • Debate contínuo sobre se a gramática se baseia em regras categóricas incorporadas mais alguma estatística, ou se é fundamentalmente estatística com vieses inatos.

Status da linguística formal e teorias baseadas em regras

  • Vários comentários dizem que os frameworks gerativos clássicos foram cientificamente influentes, mas ruins para tarefas de engenharia e agora estão em declínio na linguística central.
  • Outros os defendem por terem produzido conhecimento empírico substancial sobre sintaxe, mesmo que suas teorias de nível mais alto já não sejam amplamente acreditadas.
  • Alguns criticam rejeições de métodos probabilísticos ou estatísticos por teóricos tradicionais como dogmáticas e obstrutivas.