Chomsky e as duas culturas da aprendizagem estatística (2011)
Aprendizado de máquina estatístico e linguística baseada em regras colidem em um debate de longa data sobre como a linguagem é melhor modelada e compreendida. Comentadores contrastam sistemas probabilísticos e orientados por dados, como os grandes modelos de linguagem modernos, com teorias que postulam uma rica estrutura gramatical inata, discutindo o que conta como explicação científica versus mera engenharia. A troca destaca questões em aberto sobre como os humanos realmente adquirem linguagem, se a IA atual oferece um modelo cognitivo significativo e até que ponto métodos probabilísticos podem capturar os aspectos “criativos” do uso da linguagem.
Modelos probabilísticos e “simplicidade”
- Vários comentaristas contestam a afirmação de que modelos probabilísticos são a forma “mais simples” de lidar com a incerteza.
- Objeções: eles exigem cálculos enormes e vastos volumes de dados; muitas vezes funcionam como caixas-pretas que não “modelam” mecanismos, apenas correlações.
- Outros argumentam que “simples” significa conceitualmente natural para fenômenos inerentemente estocásticos (por exemplo, percepção ruidosa), mesmo que sejam computacionalmente pesados.
Outras maneiras de representar a incerteza
- Alternativas mencionadas: modelos determinísticos com variáveis desconhecidas, lógica ternária (verdadeiro/falso/desconhecido), lógica fuzzy, retrocesso/busca em feixe com heurísticas.
- Alguns veem essas abordagens como mais grosseiras ou “probabilidades disfarçadas” (por exemplo, “desconhecido” ≈ algum intervalo entre 0 e 1).
- Em domínios aplicados como o clima, a previsão probabilística por ensembles é descrita como a única abordagem prática conhecida até agora.
Engenharia vs ciência e o que os modelos explicam
- Uma corrente: o sucesso da engenharia com métodos probabilísticos/estatísticos é evidência de que os sistemas subjacentes são pelo menos parcialmente estatísticos.
- Visão oposta: tecnologia funcional não explica automaticamente fenômenos naturais (aviões vs pássaros, LLMs vs humanos); ela pode apenas aproximar o comportamento.
- Há debate sobre se os modelos de linguagem atuais são bons modelos científicos da cognição humana ou apenas ferramentas poderosas.
LLMs, aprendizagem de linguagem e inatismo
- Alguns argumentam que os LLMs mostram que a linguagem pode ser aprendida de novo por exposição e que a inteligência pode ser menos misteriosa do que se supunha.
- Críticos respondem: os modelos precisam de muitas ordens de magnitude mais texto e computação do que as crianças; aprendizes humanos têm entrada multimodal rica e fortes vieses inatos moldados pela evolução.
- Debate contínuo sobre se a gramática se baseia em regras categóricas incorporadas mais alguma estatística, ou se é fundamentalmente estatística com vieses inatos.
Status da linguística formal e teorias baseadas em regras
- Vários comentários dizem que os frameworks gerativos clássicos foram cientificamente influentes, mas ruins para tarefas de engenharia e agora estão em declínio na linguística central.
- Outros os defendem por terem produzido conhecimento empírico substancial sobre sintaxe, mesmo que suas teorias de nível mais alto já não sejam amplamente acreditadas.
- Alguns criticam rejeições de métodos probabilísticos ou estatísticos por teóricos tradicionais como dogmáticas e obstrutivas.