Escribir software correcto es difícil y las matemáticas por sí solas no nos ayudarán (2016)
Los métodos formales y las pruebas matemáticas pueden garantizar la corrección de piezas pequeñas y bien especificadas de código, pero los comentaristas sostienen que se desmoronan rápidamente frente al software del mundo real: requisitos cambiantes, sistemas operativos complejos, hardware poco fiable y flujos de trabajo centrados en humanos. Muchos ven la verificación como esencial para componentes críticos para la seguridad o sensibles a la seguridad, pero impracticable como enfoque universal, y abogan en cambio por una mezcla de tipos, pruebas, especificaciones cuidadosas y empirismo. El auge del código generado por IA agudiza estas preocupaciones, tanto por aumentar el volumen de software frágil como por tentar a la gente a sobreestimar lo que el razonamiento automatizado y las pruebas formales pueden garantizar realmente.
Qué significa “corrección” y por qué es difícil
- Muchos comentarios subrayan que la corrección es relativa a una especificación, y que acertar con esa especificación es la parte más difícil.
- Los sistemas reales tienen requisitos difusos, cambiantes y políticamente en disputa (p. ej., “qué cuenta como una venta”, “dibujar algo que se vea bien”).
- Para gran parte del comportamiento empresarial y de UX, la formalización completa se ve como poco práctica o imposible; el empirismo y las pruebas predominan.
Límites de la teoría (Halting, Rice, Gödel)
- El problema de la parada y el teorema de Rice se citan como pruebas de que la verificación totalmente genérica es imposible, pero varios argumentan que esto trata sobre “programas arbitrarios”, no sobre código típico del mundo real.
- Algunos señalan que la indecidibilidad no prohíbe demostraciones para programas específicos; prohíbe un procedimiento universal.
- Hay cierto desacuerdo sobre si el artículo se apoya demasiado en estos resultados y exagera el pesimismo.
Métodos formales en la práctica
- La verificación formal se considera esencial pero costosa en dominios como sistemas críticos para la seguridad, médicos, militares, criptográficos y algunos sistemas de alta seguridad.
- Varias personas informan que un énfasis excesivo en las pruebas puede frenar el progreso, especialmente cuando las pruebas se basan en supuestos poco realistas (p. ej., sensores ideales).
- Un tema recurrente: los esfuerzos de demostración son frágiles ante requisitos cambiantes; grandes pruebas pueden volverse irreparables cuando cambian los supuestos.
Garantías parciales: tipos, propiedades y herramientas
- Los sistemas de tipos fuertes, los sistemas de capacidades y los métodos formales ligeros se elogian como un punto medio práctico.
- Ideas como subtipos, funciones puras y comprobación de propiedades pueden garantizar invariantes importantes sin demostrar programas completos.
- El análisis estático y el razonamiento acotado están infrautilizados, pero aportan beneficios relativamente baratos.
Complejidad del entorno y del SO
- Varios argumentan que los primitivos del SO y los sistemas de archivos son intrínsecamente difíciles de modelar; gran parte de la dificultad está en esta frontera más que en los algoritmos centrales.
- Se discuten los microkernels, las capacidades y los diseños de SO centrados en los datos como formas de facilitar el razonamiento, aunque siguen siendo muy difíciles.
IA, “vibe coding” y fiabilidad
- Algunos temen que el código generado por LLMs y el “vibe coding” normalicen una actitud despectiva hacia la corrección y puedan reducir la fiabilidad.
- Otros señalan que el software ha sido poco fiable mucho antes de la IA; los LLMs también podrían ayudar con la especificación, las pruebas y las herramientas si se los restringe con cuidado.