Modelos Estão Ficando Mais Burros de Propósito

Artigo original ↗ Discussão no Hacker News ↗

Os grandes modelos de linguagem estão sendo cada vez mais otimizados para armazenar menos conhecimento factual em seus pesos e depender, em vez disso, de ferramentas, busca e bases de conhecimento externas, levantando questões sobre como equilibrar “motores de raciocínio” com informações atualizadas. Comentadores debatem se modelos especializados e plugáveis são desejáveis ou mesmo compatíveis com as arquiteturas atuais, em contraste com a tendência histórica de que modelos grandes e gerais, treinados amplamente, superam especializações feitas à mão (“a bitter lesson”). Outros criticam o artigo citado por estar desatualizado e provavelmente ter sido gerado por IA, e ressaltam que mover fatos para fora dos pesos não resolve, por si só, as alucinações nem garante citações confiáveis.

Validade dos benchmarks e atualidade do artigo

  • Vários comentários dizem que o artigo se apoia em benchmarks desatualizados (SimpleQA parando em 2025) e caracteriza de forma errada os líderes e as capacidades atuais.
  • Há links para gráficos atualizados do SimpleQA-Verified mostrando melhor desempenho e para logs de exemplos específicos.
  • Vários participantes afirmam que o próprio post do blog provavelmente foi gerado por IA e está desatualizado, o que enfraquece sua autoridade sobre “modelos ficando mais burros”.

Separação entre conhecimento e raciocínio

  • Muitos gostam da divisão conceitual entre “motor de raciocínio” e “conhecimento em ferramentas/KBs”, citando pequenos modelos de raciocínio (por exemplo, Needle, VibeThinker) como exemplos iniciais.
  • Outros argumentam que o raciocínio está fortemente entrelaçado com o conhecimento de mundo e o uso da linguagem; não dá para remover “fatos” de forma limpa sem degradar o raciocínio.
  • Alguns levantam objeções filosóficas: o raciocínio sempre está inserido em práticas linguísticas específicas.

Modelos especializados / plugáveis vs. propósito geral

  • Um longo subthread explora o sonho de uma “base de conhecimento plugável”: um núcleo pequeno de raciocínio + módulos de domínio intercambiáveis (Swift, GIS, frontend, etc.), idealmente rodando localmente.
  • Críticos respondem que os LLMs transformers atuais não se compõem dessa forma; dados entre domínios (por exemplo, vários idiomas) muitas vezes melhoram o desempenho por causa de estruturas abstratas compartilhadas.
  • MoE é frequentemente mal compreendido: comentaristas explicam que os “especialistas” não são módulos de domínio bem definidos como “especialista em Swift”, mas sub-redes abstratas de padrões.
  • A “Bitter Lesson” é invocada: arquiteturas modulares feitas à mão provavelmente serão superadas por grandes modelos gerais, somados a prompts simples e harnesses de agentes.

Alucinações, uso de ferramentas e qualidade da busca

  • Vários observam que mover fatos dos pesos para ferramentas/RAG não “resolve alucinações” automaticamente; os modelos ainda podem inventar ou lidar mal com dados recuperados.
  • Um comportamento confiável de “não sei” é visto como crucial e ainda não resolvido/incerto.
  • Alguns relatam que chatbots modernos alucinam menos por causa de uso agressivo de ferramentas e de prompts para verificar via busca na web.
  • Há preocupação de que a dependência da busca na web seja frágil à medida que a qualidade da busca pública piora, mas KBs curadas/específicas de domínio e índices internos podem mitigar isso.

Padrões de uso e sistemas agentivos

  • Os participantes debatem o uso no mundo real: muitos não desenvolvedores usam LLMs para aprender, processar texto e redigir, não para programação ou agentes pesados.
  • Outros argumentam que o uso com muito token em programação/agentes pode dominar o consumo de computação, mesmo que o número de usuários seja puxado para outro lado.
  • Sistemas multiagente e harnesses especializados são propostos como o caminho prático de hoje para a “inteligência modular”, em vez de reconfigurar os pesos do modelo.

Inteligência, conhecimento e confiança

  • Alguns enfatizam que LLMs são modelos estatísticos de sequência, não “inteligentes” em sentido humano; outros observam que a própria inteligência é mal definida.
  • Vários se preocupam que ensaios escritos por IA e verificados superficialmente corroam a confiança do leitor e o forcem a fazer sua própria QA sobre raciocínio e fatos.