प्रत्येक मॉडल के लिए सबसे अच्छा harness कौन-सा है?
22 अलग-अलग “harnesses” (agent runtimes और tool setups) का कई open-weight coding models पर मूल्यांकन करते हुए, एक नया benchmark पाता है कि harness की पसंद successful task की cost को 4.4× तक बदल सकती है, और tests में inference spend का 64% उन runs पर गया जो benchmarks में fail हुए। टिप्पणीकार इन परिणामों की प्रासंगिकता पर बहस करते हैं, सीमित task coverage, high variance, और binary pass/fail metrics तथा वास्तविक workflows के बीच के अंतर को देखते हुए जहाँ humans agents को steer, review, और iterate करते हैं। कई लोग तर्क देते हैं कि harnesses को specific models और specific domains या projects दोनों के अनुसार tune किया जाना चाहिए, और bespoke या evolving harnesses — “one size fits all” defaults के बजाय — models के बेहतर होने के साथ और भी अधिक महत्वपूर्ण होंगे.
Eval सेटअप और शीर्षक का framing
- ब्लॉग 62 Terminal Bench tasks पर 22 harnesses × 5 open-weight models का मूल्यांकन करता है, प्रत्येक के लिए 4 attempts के साथ, और cost per pass पर ध्यान केंद्रित करता है।
- कुछ टिप्पणीकार कहते हैं कि मूल submission title (“64% of inference spend went to runs that failed”) ब्लॉग के तटस्थ title की तुलना में sensationalized था।
- स्पष्टीकरण: “failed” का अर्थ “सभी test criteria पास नहीं किए,” है, न कि infrastructure/runtime failure।
Harness बनाम model का महत्व
- कई लोग मानते हैं कि performance/cost पर models का दबदबा होता है, लेकिन harness choice एक महत्वपूर्ण दूसरा lever है, खासकर step count और tool usage के आसपास।
- कुछ लोगों का तर्क है कि harness-aware training और self-evolving harnesses भविष्य हैं; closed, non-editable harnesses को “anti-pattern” कहा जाता है।
- अन्य लोग बताते हैं कि उनके अनुभव में, अलग-अलग harnesses में वही model अक्सर समान व्यवहार करता है, जबकि models बदलने से व्यवहार नाटकीय रूप से बदलता है।
Methodology संबंधी चिंताएँ और statistical validity
- आलोचक इन बातों पर सवाल उठाते हैं:
- Terminal Bench tasks का छोटा, चयनात्मक subset (17 TB4, 45 TB2.1) और task selection criteria की अस्पष्टता।
- लंबे, कठिन tasks में high variance और सीमित attempts (प्रति task 4 runs)।
- क्या रिपोर्ट किए गए अंतर बड़े, repeated sample में भी बने रहेंगे।
- कुछ लोग इस अध्ययन को rigorous science से ज़्यादा marketing मानते हैं।
Coding agents, failure rates, और real-world use
- कई लोग नोट करते हैं कि humans भी अक्सर fail करते हैं; विकास के कई प्रयास और prototypes पहले ही try में “pass” नहीं करते।
- बहुत से लोग high failure spend को अपेक्षित और स्वीकार्य मानते हैं: failure की cost कम है, और failed runs पर tokens search/exploration का हिस्सा हैं।
- अन्य लोग सवाल उठाते हैं कि hidden tests पर binary pass/fail वास्तविक workflows में “success” का अच्छा proxy है या नहीं, जहाँ humans guide, review, और refactor करते हैं।
Harnesses और models को optimize करना
- सुझावों में शामिल हैं:
- सिर्फ prompts को छोटा करने के बजाय प्रति pass steps घटाना, क्योंकि हर step context को फिर से भेजता है।
- model के अनुसार harness prompts को tune करना (कुछ prompts एक model की मदद करते हैं, दूसरे को नुकसान पहुंचाते हैं)।
- harness-side tuning (prompts, tools, skills) बनाम model fine-tuning; कुछ लोग कहते हैं कि harness को tune करना आमतौर पर आसान होता है।
- विशिष्ट harnesses के लिए last-mile fine-tuning में रुचि है, लेकिन compute cost को लेकर चिंता भी है।
“harness” की परिभाषा और scope
- “harness” बनाम “agent” को लेकर भ्रम है। एक सरल framing: harness + model ≈ agent।
- कुछ लोगों के लिए harnesses मुख्यतः prompts और tool calls वाले simple loops हैं; अन्य multi-agent orchestration, budgets, और subagents पर जोर देते हैं, जिससे harness design महत्वपूर्ण हो जाता है।
Benchmarks की सीमाएँ और user needs
- टिप्पणीकार जोर देते हैं कि single-task benchmarks project-level चिंताओं को नहीं पकड़ते: cross-task memory, evolving requirements, और domain-specific workflows।
- कई लोग ऐसे benchmarks चाहते हैं जिनमें लोकप्रिय proprietary models और non-coding, tool-rich harnesses शामिल हों।
- कई लोगों के लिए takeaway यह है: ऐसे evals को rough guidance की तरह उपयोग करें, लेकिन अपने domain के लिए tailored harness बनाने या tune करने की अपेक्षा रखें।