सही सॉफ़्टवेयर लिखना कठिन है, और केवल गणित हमारी मदद नहीं करेगा (2016)

Formal methods और mathematical proofs छोटे, अच्छी तरह से निर्दिष्ट code हिस्सों के लिए correctness की गारंटी दे सकते हैं, लेकिन टिप्पणीकारों का तर्क है कि वास्तविक दुनिया के software में वे जल्दी ही टूट जाते हैं: बदलती आवश्यकताएँ, उलझे हुए operating systems, अविश्वसनीय hardware, और human-centered workflows। कई लोग safety-critical या security-sensitive components के लिए verification को आवश्यक मानते हैं, लेकिन इसे एक सार्वभौमिक दृष्टिकोण के रूप में अव्यावहारिक समझते हैं; इसके बजाय वे types, testing, सावधानीपूर्वक specifications, और empiricism के मिश्रण की वकालत करते हैं। AI-generated code का उदय इन चिंताओं को और तेज़ करता है, एक ओर brittle software की मात्रा बढ़ाकर, और दूसरी ओर लोगों को यह overestimate करने के लिए प्रेरित करके कि automated reasoning और formal proofs वास्तव में क्या सुनिश्चित कर सकते हैं.

“सहीपन” का अर्थ क्या है और यह कठिन क्यों है

  • कई टिप्पणियाँ इस बात पर ज़ोर देती हैं कि सहीपन एक स्पेसिफिकेशन के सापेक्ष होता है, और उस स्पेसिफिकेशन को सही करना सबसे कठिन हिस्सा है।
  • वास्तविक सिस्टमों में आवश्यकताएँ धुंधली, बदलती हुई, और राजनीतिक रूप से विवादित होती हैं (जैसे, “किसे बिक्री माना जाए”, “कुछ ऐसा बनाओ जो अच्छा दिखे”)।
  • बहुत-से व्यावसायिक और UX व्यवहारों के लिए, पूर्ण औपचारिकीकरण अव्यावहारिक या असंभव माना जाता है; अनुभवजन्य दृष्टिकोण और परीक्षण हावी रहते हैं।

सिद्धांत की सीमाएँ (Halting, Rice, Gödel)

  • Halting problem और Rice’s theorem को इस बात के प्रमाण के रूप में उद्धृत किया जाता है कि पूर्णतः सामान्य सत्यापन असंभव है, लेकिन कई लोग कहते हैं कि यह मुख्यतः “मनमाने programs” के बारे में है, न कि सामान्य वास्तविक-विश्व code के बारे में।
  • कुछ लोग यह भी बताते हैं कि अनिर्णेयता किसी विशिष्ट program के लिए proof को नहीं रोकती; यह केवल एक सार्वभौमिक प्रक्रिया को रोकती है।
  • इस बात पर कुछ असहमति है कि क्या लेख इन परिणामों पर बहुत अधिक निर्भर करता है और निराशावाद को ज़्यादा बढ़ा-चढ़ाकर प्रस्तुत करता है।

व्यवहार में Formal Methods

  • safety-critical, medical, military, cryptographic, और कुछ high-security systems जैसे क्षेत्रों में formal verification को आवश्यक लेकिन महँगा माना जाता है।
  • कई लोग बताते हैं कि proofs पर अत्यधिक ज़ोर प्रगति को रोक सकता है, खासकर जब proofs अवास्तविक assumptions पर टिके हों (जैसे, आदर्श sensors)।
  • एक बार-बार उभरने वाला विषय: requirements बदलने पर proof के प्रयास नाज़ुक हो जाते हैं; बड़ी proofs assumptions बदलने पर बचाई नहीं जा सकतीं।

आंशिक गारंटियाँ: Types, Properties, और Tools

  • मजबूत type systems, capability systems, और lightweight formal methods को व्यावहारिक बीच का रास्ता माना जाता है।
  • subtypes, pure functions, और property checking जैसी धारणाएँ पूरे programs को सिद्ध किए बिना भी महत्वपूर्ण invariants की गारंटी दे सकती हैं।
  • static analysis और bounded reasoning का कम उपयोग होता है, जबकि वे अपेक्षाकृत सस्ते लाभ देते हैं।

Environment और OS की जटिलता

  • कई लोग तर्क देते हैं कि OS primitives और filesystems को model करना स्वाभाविक रूप से कठिन है; कठिनाई का बड़ा हिस्सा core algorithms की बजाय इसी boundary पर होता है।
  • microkernels, capabilities, और data-centric OS designs को reasoning को आसान बनाने के तरीकों के रूप में चर्चा की जाती है, लेकिन वे फिर भी बहुत कठिन हैं।

AI, “Vibe Coding,” और Reliability

  • कुछ लोग चिंता जताते हैं कि LLM-generated code और “vibe coding” सहीपन के प्रति उपेक्षापूर्ण रवैये को सामान्य बना सकते हैं और reliability घटा सकते हैं।
  • अन्य लोग नोट करते हैं कि software AI से बहुत पहले से ही अविश्वसनीय रहा है; LLMs, यदि सावधानी से सीमित किए जाएँ, तो specification, proofs, और tooling में मदद भी कर सकते हैं।