编写正确的软件很难,而数学本身并不能帮助我们(2016)
形式化方法和数学证明可以为小而规格明确的代码片段保证正确性,但评论者认为,一旦面对现实世界的软件,这些方法很快就会失效:需求会变化,操作系统杂乱无章,硬件不可靠,工作流又以人为中心。许多人认为,验证对于安全关键或安全敏感组件至关重要,但作为通用方法又不切实际,因此更主张将类型系统、测试、严谨的规格说明和经验主义结合起来。AI 生成代码的兴起进一步加剧了这些担忧:它既增加了脆弱软件的数量,也诱使人们高估自动推理和形式化证明真正能保证的内容。
“正确性”意味着什么,以及为什么它很难
- 很多评论强调,正确性是相对于某个规格说明而言的,而把这个规格说明本身写对才是最难的部分。
- 现实系统有模糊、变化且在政治上充满争议的需求(例如,“什么算一笔销售”、“画出看起来不错的东西”)。
- 对于大量业务和 UX 行为来说,完全形式化被认为是不切实际甚至不可能的;经验主义和测试占主导。
理论上的限制(停机问题、Rice 定理、哥德尔)
- 停机问题和 Rice 定理被引用来说明,完全通用的验证是不可能的,但也有人指出,这主要针对的是“任意程序”,而不是典型的真实世界代码。
- 有人指出,不可判定性并不禁止对特定程序进行证明;它禁止的是一种通用程序。
- 对文章是否过度依赖这些结果、并夸大悲观程度,存在一些分歧。
形式化方法在实践中的应用
- 在安全关键、医疗、军用、密码学以及某些高安全系统等领域,形式化验证被视为重要但成本高昂。
- 多人表示,过度强调证明会拖慢进展,尤其当证明建立在不现实的假设之上时(例如理想化传感器)。
- 一个反复出现的主题是:当假设发生变化时,证明工作会变得很脆弱;大型证明可能会因前提变化而无可挽回。
部分保证:类型、属性与工具
- 强类型系统、能力系统以及轻量级形式化方法被赞为实用的中间道路。
- 子类型、纯函数和属性检查等想法,可以在不证明整个程序的情况下保证重要的不变量。
- 静态分析和有界推理被使用得太少,但收益相对便宜。
环境与操作系统复杂性
- 有人认为,操作系统原语和文件系统在建模上本质上就很难;很多困难实际上都发生在这个边界上,而不是核心算法本身。
- 微内核、能力机制和以数据为中心的操作系统设计被讨论为让推理更容易的方法,但即便如此仍然非常困难。
AI、“氛围编码”与可靠性
- 有人担心,LLM 生成的代码和“氛围编码”会使人对正确性采取轻视态度,并可能降低可靠性。
- 也有人指出,软件在 AI 出现之前就已经不可靠了;如果加以谨慎约束,LLM 也可能帮助规格说明、证明和工具化工作。