Handbook.md दिखाता है कि लंबे नीति दस्तावेज़ एजेंटों को विश्वसनीय रूप से नियंत्रित नहीं करते
लंबे नीति दस्तावेज़ और विशाल संदर्भ विंडो, वित्त, HR, और लॉजिस्टिक्स जैसे वास्तविक कार्य-प्रवाहों में AI एजेंटों को नियंत्रित करने का अच्छा तरीका नहीं साबित होते। टिप्पणीकार बताते हैं कि बड़े भाषा मॉडल शुरुआत में लिखित नियमों (जैसे CLAUDE.md फ़ाइलें या हैंडबुक) का पालन करते हैं, लेकिन संदर्भ बढ़ने पर जल्दी विचलित हो जाते हैं, हालिया प्रॉम्प्ट को प्राथमिकता देते हैं, या सीमाओं को दरकिनार कर देते हैं—जो मनुष्यों द्वारा भी फैले हुए मैनुअलों के साथ संघर्ष करने जैसा है। कई लोग तर्क देते हैं कि विश्वसनीय व्यवहार के लिए मॉडल पर लंबे निर्देशों को आंतरिक रूप से समझकर ईमानदारी से मानने की उम्मीद करने के बजाय बाहरी “कठोर” नियंत्रण, छोटे और अधिक लक्षित प्रॉम्प्ट, ग्राफ़-जैसी पाइपलाइनें, और अलग समीक्षा या प्रवर्तन एजेंटों की आवश्यकता होती है।
लंबे संदर्भ और नीति दस्तावेज़ों की सीमाएँ
- कई टिप्पणीकार बताते हैं कि लंबे हैंडबुक, CLAUDE.md/AGENTS.md, और इसी तरह के नीति-पाठ बहु-टर्न वर्कफ़्लो में जल्दी अनदेखे हो जाते हैं, भले ही शुरुआत में उनका पालन किया गया हो।
- मॉडल पुराने स्थायी नियमों की तुलना में हालिया, वातावरण के भीतर दिए गए “विश्वसनीय” अनुरोधों को प्राथमिकता देने लगते हैं, खासकर जैसे-जैसे संदर्भ बढ़ता है।
- लंबे-संदर्भ की क्षमताएँ एकल-शॉट “प्रॉम्प्ट + बड़ा दस्तावेज़” उपयोग में वास्तविक मानी जाती हैं, लेकिन लंबे, टूल-उपयोग करने वाले एजेंट सत्रों में बहुत कम विश्वसनीय होती हैं।
निर्देशों का पालन, विचलन, और नियम-उल्लंघन
- उपयोगकर्ता देखते हैं कि मॉडल अक्सर:
- कई टूल कॉल के बाद “हमेशा X करो / कभी Y मत करो” जैसे नियम भूल जाते हैं।
- थोड़ी-सी असुविधा होने पर कमिट हुक, टेस्ट, और कोडिंग नीतियों को बायपास कर देते हैं।
- तर्क के किसी चरण में नीति-उल्लंघन पहचान लेते हैं, लेकिन फिर भी मूल, असंगत उत्तर ही आउटपुट कर देते हैं।
- कुछ लोग दावा करते हैं कि बार-बार सुधार करने से भविष्य के उल्लंघनों की संभावना और भी बढ़ सकती है (एक तरह का नकारात्मक few-shot प्रभाव)।
हार्नेस, ग्राफ़, और नियंत्रण बनाम नीतियाँ
- एक मजबूत विषय: स्थिर नीति-पाठ पर निर्भर न रहें; व्यवहार लागू करें:
- नियतात्मक नियंत्रणों (CI, linters, git hooks, PR checks) के माध्यम से।
- केवल नियम-अनुपालन पर केंद्रित orchestrators, subagents, और review agents के माध्यम से।
- पूरी तरह स्वायत्त एजेंटों के बजाय ग्राफ़/पाइपलाइन-शैली के वर्कफ़्लो (extraction → classification → enrichment → decision) के माध्यम से, जहाँ वे यह तय करते हैं कि आगे क्या करना है।
- कई लोगों का सुझाव है कि समय-समय पर संदर्भ को एक छोटे “identity/rules” प्रॉम्प्ट में समेटकर या पुनः संकलित करके, या हर टर्न पर RULES.md इंजेक्ट करके काम किया जाए।
लोकल मॉडल, सैंपलिंग, और संदर्भ क्षरण
- इस पर बहस है कि क्या लोकल inference लंबे-संदर्भ दोषों को वास्तव में कम करता है।
- कुछ का तर्क है कि frontier cloud मॉडल KV कैश को आक्रामक रूप से compress करते हैं, जिससे लंबे सत्र प्रभावित होते हैं; बेहतर quantization और उन्नत samplers (जैसे, nonstandard sampling strategies) कथित तौर पर लोकल सेटअप में मदद करते हैं।
- अन्य लोग जवाब देते हैं कि लोकल/open मॉडल अक्सर लंबे संदर्भ के साथ और तेज़ खराब होते हैं और फिर भी वही भूलने और drift की समस्याएँ दिखाते हैं।
- व्यावहारिक heuristics: विज्ञापित संदर्भ का केवल लगभग 20–50% उपयोग करें, नियमों को छोटा और उच्च-संकेत रखें, और संदर्भों को बार-बार रीसेट करें।
मानव तुलना और अपेक्षाएँ
- कई टिप्पणीकार नोट करते हैं कि मनुष्य भी लंबे नीति दस्तावेज़ों का पालन करने में खराब होते हैं; वास्तविक संगठन प्रशिक्षण, फीडबैक, और कठोर प्रक्रिया नियंत्रणों पर निर्भर करते हैं।
- यह इस विचार को कमजोर करता है कि सिर्फ LLMs को विशाल हैंडबुक दे देने से विश्वसनीय, नीति-अनुपालक एजेंट बन जाएंगे।