Show HN：直接在 Claude、Codex 和 Cursor 中进行智能模型路由

原文 ↗ Hacker News 讨论 ↗

成本、缓存和 Token 节省

  • 许多评论者担心，多模型路由会增加缓存未命中，从而提高成本，尤其是在缓存 TTL 较短和编码会话较长的情况下。
  • 该路由器声称自己“感知缓存”：一旦某个模型开始使用，切换到另一个模型就需要更高的阈值，以便用成本或质量收益来抵消缓存损失。
  • 作者报告内部成本节省约 40%，并认为：
    • 许多请求可以由小模型完全处理。
    • 用小模型处理任务的一部分，再加上一次缓存未命中，通常比端到端使用前沿模型更便宜。
    • 带有新鲜上下文的子代理，自然适合路由到更便宜的模型。
  • 有人认为，除了一位规划器 + 一位执行器模型之外，额外的模型大多只会增加缓存惩罚和复杂性。

路由逻辑、可靠性和用例

  • 该路由器基于真实的 agent 跟踪数据训练；奖励信号反映所选模型是否成功完成任务。
  • 它使用 prompt + 上下文的嵌入来聚类相似任务，并随时间自适应；更大的模型可以“救回”那些卡住的小模型。
  • 担忧包括：小模型可能更容易循环或失败；含糊的任务很难正确路由；许多用户会针对特定模型调整 prompt，因此自动路由可能与他们的预期不一致。
  • 一些人认为，这更适合普通用户或 agentic 编码场景，而不是高度受控、预先评估过的生产流程。

集成、订阅和隐私

  • 它可以使用现有的 Claude/Codex 订阅（补贴使用），并在需要时回退到 API 计费；也可与 OpenCode 等工具集成，并路由到 Gemini。
  • 有人担心使用任何代理都会带来数据隐私问题。该项目可以自托管；不过据说许多客户仍然选择托管版本。

对比与替代方案

  • 与其他路由器（例如 vLLM Semantic Router、Sakana Fugu、Cursor 的“auto”）相比，这一方案更强调 agentic 编码和缓存感知。
  • 一些人指出，编码 harness 和 IDE 已经在做自己的模型感知路由，并质疑代理层路由器是否会破坏那个控制闭环。

证据与未解问题

  • 评论者要求公开基准测试（例如编码基准、RouterArena）以及切换频率的细节。
  • 维护者表示，内部指标显示代码质量不变而速度更高，但尚未链接外部评测。