Show HN: Roteamento inteligente de modelos diretamente no Claude, Codex e Cursor

Custos, Cache e Economia de Tokens

• Muitos comentaristas se preocupam que o roteamento entre múltiplos modelos aumente os cache misses e, assim, o custo, especialmente com TTLs de cache curtos e sessões de programação longas.
• O roteador afirma ser “cache-aware”: uma vez que um modelo está em uso, a troca exige um limiar mais alto, de modo que a perda de cache seja compensada por ganhos de custo ou qualidade.
• Os autores relatam cerca de 40% de economia interna de custos, argumentando que:
  • Modelos pequenos podem lidar completamente com muitas requisições.
  • Usar um modelo pequeno em parte de uma tarefa mais um cache miss costuma ser mais barato do que usar um modelo de fronteira do início ao fim.
  • Subagentes com contextos novos são pontos naturais para rotear para modelos mais baratos.
• Alguns argumentam que, além de um planejador + um executor, modelos extras acrescentam principalmente penalidades de cache e complexidade.

Lógica de Roteamento, Confiabilidade e Casos de Uso

• O roteador é treinado com traces reais de agentes; os sinais de recompensa refletem se um modelo escolhido conclui tarefas com sucesso.
• Ele usa embeddings do prompt + contexto para agrupar tarefas semelhantes e se adaptar ao longo do tempo; modelos maiores podem “resgatar” modelos menores que ficam travados.
• Preocupações: modelos pequenos podem entrar em loop ou falhar mais; tarefas ambíguas são difíceis de rotear corretamente; muitos usuários ajustam prompts para modelos específicos, então o roteamento automático pode não corresponder às suas expectativas.
• Vários veem isso como mais adequado para usuários médios ou configurações de programação agêntica do que para fluxos de produção altamente controlados e pré-avaliados.

Integração, Assinaturas e Privacidade

• Ele pode usar assinaturas existentes do Claude/Codex (uso subsidiado) e fazer fallback para cobrança via API; também integra com ferramentas como OpenCode e pode rotear para Gemini.
• Alguns se preocupam com a privacidade dos dados ao usar qualquer proxy. O projeto pode ser auto-hospedado; segundo relatos, muitos clientes ainda escolhem a opção hospedada.

Comparações e Alternativas

• Em comparação com outros roteadores (por exemplo, vLLM Semantic Router, Sakana Fugu, Cursor “auto”), este enfatiza programação agêntica e consciência de cache.
• Alguns observam que harnesses de programação e IDEs já fazem seu próprio roteamento com consciência de modelo e questionam se um roteador na camada de proxy quebra esse loop de controle.

Evidências e Questões em Aberto

• Comentaristas pedem benchmarks públicos (por exemplo, coding benches, RouterArena) e detalhes sobre a frequência de troca.
• Os mantenedores dizem que métricas internas mostram qualidade de código inalterada e maior velocidade, mas avaliações externas ainda não foram vinculadas.