Interpretando las afirmaciones de que un teorema es correcto porque fue comprobado en Lean
Las afirmaciones de que un teorema matemático está “demostrado porque fue comprobado en Lean” están siendo examinadas críticamente a medida que los sistemas de IA generan enormes pruebas formales. Los comentaristas señalan que, aunque el verificador de Lean ofrece garantías fuertes de que una afirmación formal se sigue lógicamente de unos axiomas dados, no asegura que esa afirmación formal coincida con el teorema pretendido, que no haya trucos ocultos ni que esté libre de errores del kernel. Muchos siguen viendo las pruebas mecanizadas y la verificación formal como un progreso crucial, pero argumentan que deben ir acompañadas de juicio humano, especificaciones claras y mejores herramientas si han de ser confiables tanto en matemáticas como en software.
Pruebas en Lean vs. verdad matemática
- Muchos comparan “prueba verificada en Lean” con “código que compila” o “pasa pruebas unitarias”.
- El consenso: Lean garantiza “si esta afirmación formal es lo que querías decir, entonces la prueba es correcta”, pero no garantiza que la afirmación formal coincida con el teorema informal.
- Algunos sostienen que se parece más a “código verificado formalmente” que a una mera compilación, pero el problema de desajuste entre especificación y formalización sigue ahí.
Especificación vs. afirmación formal
- La preocupación central: verificar que la afirmación en Lean coincida con el teorema pretendido no es trivial, especialmente con grandes pilas de dependencias y muchas definiciones.
- Las malas formulaciones (por ejemplo, olvidar que ℕ incluye 0 en un ejemplo al estilo del último teorema de Fermat) pueden hacer que afirmaciones falsas o triviales parezcan “demostradas”.
- Las grandes importaciones pueden ocultar redefiniciones o “trucos” que cambian sutilmente los significados; se mencionan herramientas como
lake comparatorcomo mitigaciones.
LLMs, tamaño de las pruebas y calidad
- Varios comentarios: los LLMs suelen producir pruebas en Lean extremadamente largas y enrevesadas, mucho mayores que las humanas.
- A veces encuentran argumentos más cortos que los demostradores por fuerza bruta, pero en promedio producen “slop” que cuesta entender.
- El Lean generado por LLMs se compara con pruebas unitarias que pasan de forma vacía (por ejemplo, reemplazar pruebas por no-op).
Confianza, kernels y posibles exploits
- Se discute la existencia de kernels independientes y verificadores formalmente comprobados como defensas parciales contra errores del kernel de Lean.
- Se aprovechó un error conocido del kernel para “demostrar” una afirmación falsa, mostrando que agentes pueden o podrían explotar con el tiempo estos problemas.
- Ejecutar código arbitrario de Lean se señala como inseguro porque puede ejecutar programas arbitrarios.
Aplicaciones al software y la verificación formal
- Hay gran interés en usar Lean (y herramientas relacionadas) para verificar software, desde DSLs hasta lenguajes completos.
- Algunos proyectos modelan lenguajes de programación directamente en Lean; otros usan incrustaciones superficiales o herramientas específicas del lenguaje.
- Las pruebas formales se ven como un complemento potente de las pruebas y la revisión, pero no como una solución mágica.
Valor y propósito de pruebas masivas
- Preocupan las pruebas tan grandes que ningún humano pueda entenderlas.
- Algunos ven valor incluso así (por ejemplo, en software verificado o para guiar experimentos en física); otros temen que las matemáticas se conviertan en un juego de caja negra.
- El sentimiento general: la formalización es valiosa, pero afirmaciones como “demostrado en Lean” requieren una interpretación cuidadosa y matizada.