Interpretando afirmações de que um teorema é correto porque foi verificado no Lean

A afirmação de que um teorema matemático está “provado porque foi verificado no Lean” está sendo examinada à medida que sistemas de IA geram provas formais enormes. Comentadores observam que, embora o verificador de provas do Lean ofereça garantias fortes de que uma afirmação formal decorre logicamente dos axiomas dados, ele não garante que a afirmação formal corresponda ao teorema pretendido, que não haja truques ocultos ou que o kernel esteja livre de bugs. Muitos ainda veem provas mecanizadas e verificação formal como um progresso crucial, mas argumentam que elas precisam ser acompanhadas de julgamento humano, especificações claras e ferramentas melhores se quiserem ser confiáveis tanto na matemática quanto no software.

Provas em Lean vs verdade matemática

  • Muitos comparam “prova verificada no Lean” a “código que compila” ou “passa em testes unitários”.
  • O consenso: Lean garante “se esta afirmação formal é o que você quis dizer, então a prova está correta”, mas não garante que a afirmação formal corresponda ao teorema informal.
  • Alguns argumentam que isso está mais próximo de “código formalmente verificado” do que de mera compilação, mas o problema de incompatibilidade de especificação permanece.

Especificação vs afirmação formal

  • A preocupação central: verificar que a afirmação em Lean corresponde ao teorema pretendido não é trivial, especialmente com grandes pilhas de dependências e muitas definições.
  • Formulações incorretas (por exemplo, esquecer que ℕ inclui 0 em um exemplo no estilo do Último Teorema de Fermat) podem fazer afirmações falsas ou triviais parecerem “provadas”.
  • Grandes imports podem ocultar redefinições ou “artimanhas” que alteram sutilmente os significados; ferramentas como lake comparator são discutidas como mitigação.

LLMs, tamanho das provas e qualidade

  • Vários comentários: LLMs frequentemente produzem provas em Lean extremamente longas e convolutas, muito maiores do que as humanas.
  • Às vezes encontram argumentos mais curtos do que provadores por força bruta, mas, em média, produzem “slop” difícil de entender.
  • Lean gerado por LLMs é comparado a testes unitários que passam de forma vacuamente correta (por exemplo, substituindo testes por no-ops).

Confiança, kernels e possíveis explorações

  • Discussão sobre kernels independentes e verificadores formalmente verificados como defesas parciais contra bugs no kernel do Lean.
  • Um bug conhecido no kernel foi explorado para “provar” uma afirmação falsa, mostrando que agentes podem ou poderiam eventualmente explorar esses problemas.
  • Executar código Lean arbitrário é apontado como inseguro, porque ele pode executar programas arbitrários.

Aplicações em software e verificação formal

  • Há grande interesse em usar Lean (e ferramentas relacionadas) para verificar software, de DSLs até linguagens completas.
  • Alguns projetos modelam linguagens de programação diretamente em Lean; outros usam embutimentos rasos ou ferramentas específicas da linguagem.
  • Provas formais são vistas como um complemento poderoso a testes e revisão, mas não como uma solução milagrosa.

Valor e propósito de provas massivas

  • Há preocupação com provas tão grandes que nenhum humano possa entendê-las.
  • Alguns veem valor mesmo assim (por exemplo, em software verificado ou para orientar experimentos em física); outros receiam que a matemática se torne um jogo de caixa-preta.
  • O sentimento geral: formalização é valiosa, mas afirmações como “provado no Lean” precisam de interpretação cuidadosa e matizada.