बड़े भाषा मॉडलों के लिए प्रूवेबल इनफरेंस में प्रगति
Anthropic का बड़े भाषा मॉडलों के लिए “provable inference” पर काम—जिसमें zero-knowledge proofs का उपयोग करके cryptographically सत्यापित किया जाता है कि एक विशिष्ट मॉडल और weights ने कोई output बनाया—auditability, routing transparency, और AI compute के संभावित regulation के लिए एक महत्वपूर्ण कदम माना जा रहा है। टिप्पणीकार बहस करते हैं कि यह उन end users के लिए कितना उपयोगी है जिन्हें पहले ही अपने data के लिए providers पर भरोसा करना पड़ता है, और वे भारी performance overhead, सीमित वर्तमान व्यावहारिकता, तथा यह संभावना भी रेखांकित करते हैं कि यह मुख्यतः vendors के business models की रक्षा करता है या regulatory capture को सक्षम बनाता है। अन्य लोग third-party evaluators, AI सेवाओं के लिए supply-chain security, और models को कैसे train किया गया यह साबित करने के भविष्य के extensions जैसे उभरते उपयोग मामलों को उजागर करते हैं, साथ ही attribution और open-source research के proprietary systems में समा जाने को लेकर चिंताएँ भी उठाते हैं।
प्रूवेबल इनफरेंस किस समस्या को हल करने की कोशिश करता है
- लक्ष्य: एक क्लाइंट को यह सत्यापित करने देना कि किसी विशिष्ट मॉडल (विशिष्ट weights) ने एक response उत्पन्न किया, यहाँ तक कि untrusted infrastructure पर या third-party routers के माध्यम से भी।
- उद्धृत motiviations:
- ऐसे independent evals जिन्हें यह आश्वासन चाहिए कि evaluated मॉडल वही है जो served किया गया।
- routing/proxy services के ग्राहक यह proof चाहते हैं कि उन्हें वही मॉडल मिला जिसके लिए उन्होंने भुगतान किया।
- token tampering या model substitution का पता लगाना (जैसे सस्ते, quantized, या “lobotomized” variants)।
व्यावहारिक मूल्य और threat model पर बहस
- समर्थक इसे महत्वपूर्ण मानते हैं:
- AI supply-chain security और “defense in depth” के लिए।
- auditing और assurance firms के लिए जो black-box evaluation करते हैं।
- resellers या shady routers द्वारा fraud रोकने के लिए।
- संशयवादी तर्क देते हैं:
- यदि आप अपने data के साथ provider पर भरोसा नहीं करते, तो weights verify करना आपकी समस्याओं में सबसे छोटी समस्या है।
- यह privacy, data exfiltration, या answers की correctness को address नहीं करता।
- कई users के लिए यह एक niche या internal concern है, top practical problem नहीं।
तकनीकी सीमाएँ और performance
- मौजूदा system: integer-only weights, greedy decoding, ~1k context length।
- proof generation normal inference की GPU time का ~70–95× है; verification ~17–21s CPU और प्रति commitment ~6.5 MB है।
- कुछ लोग इसे प्रगति मानते हैं, लेकिन general workloads के लिए अभी भी production viability से बहुत दूर देखते हैं।
Quantization, substitution, और open weights
- इस पर चर्चा कि क्या यह hosts द्वारा चुपचाप quantized या downgraded models इस्तेमाल करने को पकड़ सकता है।
- open-weight models के लिए, कुछ का तर्क है कि deterministic recomputation ZK proofs से सस्ता हो सकता है।
- सिद्धांततः attestation exact checkpoint और quantization को prove कर सकती है; यह system वर्तमान में मुख्यतः integerized versions का समर्थन करता है।
विकल्पों से तुलना
- तुलना की गई:
- Hardware confidential computing / remote attestation (कुछ लोगों को अधिक practical लगता है, लेकिन hardware-dependent)।
- Watermarking (यह साबित करता है कि “यह इस provider से आया,” न कि “इन weights ने इस input पर इसे बनाया”)।
- सरल threat models में multi-provider recomputation और integrity के लिए HTTPS।
नियामक और व्यावसायिक प्रभाव
- कुछ लोग इसे ऐसे regulatory regimes को सक्षम करने वाला मानते हैं जो hardware use (inference बनाम training) की निगरानी करते हैं, और संभावित regulatory capture / lock-in के रूप में देखते हैं।
- अन्य इसे “premium” models के लिए price premiums बनाए रखने का तरीका मानते हैं, क्योंकि routers अन्यथा सस्ते विकल्प substitute कर सकते हैं।
Training provenance और attribution
- कई टिप्पणीकार इस बात पर जोर देते हैं कि provable training (यह proof कि model केवल निश्चित data पर trained था) कहीं अधिक प्रभावशाली होगा, लेकिन वह बहुत कठिन है।
- prior academic work (जैसे, VerInf), licensing (MIT बनाम GPL), और Anthropic के write-up में inadequate attribution की धारणा पर एक side discussion भी है।