Show HN: Claude, Codex और Cursor में सीधे स्मार्ट मॉडल रूटिंग

लागत, कैशिंग, और टोकन बचत

• कई टिप्पणीकारों को चिंता है कि मल्टी-मॉडल रूटिंग से cache misses बढ़ते हैं और इसलिए लागत भी, खासकर कम cache TTL और लंबे coding sessions के दौरान।
• router खुद को “cache-aware” बताता है: एक बार कोई model उपयोग में आ जाए, तो switch करने के लिए एक ऊँची threshold चाहिए, ताकि cache loss की भरपाई लागत या गुणवत्ता में बढ़त से हो सके।
• लेखकों का कहना है कि उन्हें लगभग 40% internal cost savings मिले, और उनका तर्क है कि:
  • कई requests को छोटे models पूरी तरह संभाल सकते हैं।
  • किसी task के एक हिस्से के लिए small model के साथ एक cache miss लेना, पूरे end-to-end frontier model का उपयोग करने से अक्सर सस्ता पड़ता है।
  • fresh contexts वाले subagents, सस्ते models की routing के लिए स्वाभाविक जगह होते हैं।
• कुछ लोग तर्क देते हैं कि एक planner + एक executor model के बाद, अतिरिक्त models ज़्यादातर cache penalties और complexity ही जोड़ते हैं।

Routing Logic, Reliability, और Use Cases

• router को वास्तविक agent traces पर प्रशिक्षित किया गया है; reward signals यह दर्शाते हैं कि चुना गया model tasks को सफलतापूर्वक पूरा करता है या नहीं।
• यह prompt + context के embeddings का उपयोग करके समान tasks को cluster करता है और समय के साथ adapt करता है; बड़े models उन छोटे models को “rescue” कर सकते हैं जो अटक जाते हैं।
• चिंताएँ: छोटे models अधिक loop कर सकते हैं या ज़्यादा fail कर सकते हैं; ambiguous tasks को सही तरह route करना कठिन है; कई users prompts को विशिष्ट models के अनुसार tune करते हैं, इसलिए automatic routing उनकी अपेक्षाओं से मेल नहीं भी खा सकती।
• कई लोगों को यह average users या agentic coding setups के लिए अधिक उपयुक्त लगता है, बजाय बहुत नियंत्रित, पहले से evaluated production flows के।

Integration, Subscriptions, और Privacy

• यह existing Claude/Codex subscriptions (subsidized usage) का उपयोग कर सकता है और API billing पर fall back कर सकता है; साथ ही OpenCode जैसे tools के साथ integrate होता है और Gemini तक route कर सकता है।
• कुछ लोगों को किसी भी proxy के उपयोग में data privacy की चिंता है। इस project को self-host किया जा सकता है; बताया जाता है कि कई ग्राहक फिर भी hosted option चुनते हैं।

Comparisons और Alternatives

• अन्य routers (जैसे vLLM Semantic Router, Sakana Fugu, Cursor “auto”) की तुलना में, यह agentic coding और cache awareness पर ज़ोर देता है।
• कुछ लोगों का कहना है कि coding harnesses और IDEs पहले से ही अपने model-aware routing करते हैं और सवाल उठाते हैं कि क्या proxy-layer router उस control loop को तोड़ देता है।

Evidence और Open Questions

• टिप्पणीकार public benchmarks (जैसे coding benches, RouterArena) और switching frequency के बारे में विवरण माँगते हैं।
• maintainers कहते हैं कि internal metrics में code quality अपरिवर्तित है और velocity अधिक हुई है, लेकिन external evals अभी लिंक नहीं किए गए हैं।