Interpretando afirmações de que um teorema é correto porque foi verificado no Lean
A afirmação de que um teorema matemático está “provado porque foi verificado no Lean” está sendo examinada à medida que sistemas de IA geram provas formais enormes. Comentadores observam que, embora o verificador de provas do Lean ofereça garantias fortes de que uma afirmação formal decorre logicamente dos axiomas dados, ele não garante que a afirmação formal corresponda ao teorema pretendido, que não haja truques ocultos ou que o kernel esteja livre de bugs. Muitos ainda veem provas mecanizadas e verificação formal como um progresso crucial, mas argumentam que elas precisam ser acompanhadas de julgamento humano, especificações claras e ferramentas melhores se quiserem ser confiáveis tanto na matemática quanto no software.
Provas em Lean vs verdade matemática
- Muitos comparam “prova verificada no Lean” a “código que compila” ou “passa em testes unitários”.
- O consenso: Lean garante “se esta afirmação formal é o que você quis dizer, então a prova está correta”, mas não garante que a afirmação formal corresponda ao teorema informal.
- Alguns argumentam que isso está mais próximo de “código formalmente verificado” do que de mera compilação, mas o problema de incompatibilidade de especificação permanece.
Especificação vs afirmação formal
- A preocupação central: verificar que a afirmação em Lean corresponde ao teorema pretendido não é trivial, especialmente com grandes pilhas de dependências e muitas definições.
- Formulações incorretas (por exemplo, esquecer que ℕ inclui 0 em um exemplo no estilo do Último Teorema de Fermat) podem fazer afirmações falsas ou triviais parecerem “provadas”.
- Grandes imports podem ocultar redefinições ou “artimanhas” que alteram sutilmente os significados; ferramentas como
lake comparatorsão discutidas como mitigação.
LLMs, tamanho das provas e qualidade
- Vários comentários: LLMs frequentemente produzem provas em Lean extremamente longas e convolutas, muito maiores do que as humanas.
- Às vezes encontram argumentos mais curtos do que provadores por força bruta, mas, em média, produzem “slop” difícil de entender.
- Lean gerado por LLMs é comparado a testes unitários que passam de forma vacuamente correta (por exemplo, substituindo testes por no-ops).
Confiança, kernels e possíveis explorações
- Discussão sobre kernels independentes e verificadores formalmente verificados como defesas parciais contra bugs no kernel do Lean.
- Um bug conhecido no kernel foi explorado para “provar” uma afirmação falsa, mostrando que agentes podem ou poderiam eventualmente explorar esses problemas.
- Executar código Lean arbitrário é apontado como inseguro, porque ele pode executar programas arbitrários.
Aplicações em software e verificação formal
- Há grande interesse em usar Lean (e ferramentas relacionadas) para verificar software, de DSLs até linguagens completas.
- Alguns projetos modelam linguagens de programação diretamente em Lean; outros usam embutimentos rasos ou ferramentas específicas da linguagem.
- Provas formais são vistas como um complemento poderoso a testes e revisão, mas não como uma solução milagrosa.
Valor e propósito de provas massivas
- Há preocupação com provas tão grandes que nenhum humano possa entendê-las.
- Alguns veem valor mesmo assim (por exemplo, em software verificado ou para orientar experimentos em física); outros receiam que a matemática se torne um jogo de caixa-preta.
- O sentimento geral: formalização é valiosa, mas afirmações como “provado no Lean” precisam de interpretação cuidadosa e matizada.