FunSearch: Fazendo novas descobertas nas ciências matemáticas usando LLMs
O novo sistema “FunSearch” da DeepMind usa modelos de linguagem de grande porte para gerar e evoluir iterativamente pequenos programas em Python, guiados por uma função automática de pontuação, para enfrentar problemas combinatórios difíceis como cap sets e bin packing. Os comentaristas divergem sobre se o avanço reflete uma nova percepção matemática genuína do LLM ou principalmente o poder de uma busca evolutiva que preserva apenas as melhores variantes de código, observando que ideias semelhantes já existem há muito tempo em programação genética e síntese indutiva de programas. A discussão destaca questões mais amplas sobre como atribuir crédito de forma justa aos LLMs em sistemas híbridos, o quanto eles realmente “raciocinam”, quais experimentos são necessários para provar seu valor acima de métodos tradicionais e o que essa linha de trabalho implica para futuras descobertas científicas e para as capacidades de IA.
Reação geral ao FunSearch
- Muitos acham o resultado impressionante: a busca orientada por LLM produziu soluções de estado da arte para cap sets e bin packing, superando solucionadores computacionais anteriores.
- Outros veem isso como uma melhoria incremental sobre programação genética / busca heurística, e não como uma revolução ou um momento “desde o fogo”.
O que o LLM realmente está fazendo
- Há amplo consenso de que o trabalho pesado é da busca evolutiva + avaliador; o LLM בעיקרmente propõe edições de código em vez de mutações aleatórias.
- Os defensores argumentam que o LLM é crucial porque:
- Gera programas sintaticamente corretos e com aparência plausível.
- Evita um “cold start” em que a maioria dos programas aleatórios tem fitness zero.
- Funciona como um mutador de código “quase especialista”, um solucionador geral de problemas no nível de programação.
- Os céticos observam:
- O LLM vê apenas trechos de código e assinaturas de tipos; ele não é um especialista de domínio em combinatória.
- As ablações comparam contra uma linha de base de mutação aleatória extremamente fraca, e não contra sistemas fortes e já existentes de programação genética.
- Ainda não está claro quanto da vantagem vem especificamente do LLM versus puro poder de computação e busca.
Novidade, extrapolação e o debate do “papagaio estocástico”
- Alguns argumentam que isso contraria a visão de que LLMs apenas regurgitam dados de treinamento, citando extrapolação em alta dimensão e construções matemáticas evidentemente novas.
- Outros apontam evidências de memorização e enfatizam que gerar muitos candidatos ruins mais um filtro não é o mesmo que raciocínio genuíno.
- Há consenso de que LLMs podem ser úteis na prática mesmo sem “compreensão verdadeira”.
Escopo, limitações e extensões
- O FunSearch funciona melhor quando:
- Existe um avaliador rápido e rico.
- O problema pode ser formulado como a evolução de um pequeno núcleo de código dentro de um esqueleto fixo.
- O método é explicitamente inadequado para problemas como geração de provas, onde um score numérico rico não é claro.
- Vários comentários gostariam que o sistema evoluísse provas formais (por exemplo, em Lean) ou integrasse mais raciocínio simbólico e síntese clássica de programas.
- Alguns apontam partes práticas ausentes: não há uma implementação de referência da interface de LLM no repositório e ainda não há repetições claras por terceiros.
Implicações mais amplas
- Visto por alguns como validação de “LLM + ferramentas” ou de híbridos neurossimbólicos como o caminho certo.
- Outros enfatizam que isso é impressionante, mas está longe da singularidade; é, em grande parte, um truque poderoso de aceleração de busca.