Show HN: Enrutamiento inteligente de modelos directamente en Claude, Codex y Cursor

Coste, caché y ahorro de tokens

• A muchos comentaristas les preocupa que el enrutamiento multi-modelo aumente los fallos de caché y, por tanto, el coste, especialmente con TTL de caché cortos y sesiones de programación largas.
• El enrutador afirma ser “aware of cache” (consciente de la caché): una vez que un modelo está en uso, cambiar requiere un umbral más alto para que la pérdida de caché quede compensada por ganancias de coste o calidad.
• Los autores informan de ~40% de ahorro interno en costes, argumentando que:
  • Los modelos pequeños pueden gestionar por completo muchas solicitudes.
  • Usar un modelo pequeño para parte de una tarea más un fallo de caché suele ser más barato que usar un modelo frontier de principio a fin.
  • Los subagentes con contextos frescos son lugares naturales para enrutar hacia modelos más baratos.
• Algunos sostienen que, más allá de un planificador + un ejecutor, los modelos adicionales añaden sobre todo penalizaciones de caché y complejidad.

Lógica de enrutamiento, fiabilidad y casos de uso

• El enrutador se entrena con trazas reales de agentes; las señales de recompensa reflejan si un modelo elegido completa las tareas con éxito.
• Usa embeddings del prompt + contexto para agrupar tareas similares y adaptarse con el tiempo; los modelos más grandes pueden “rescatar” a los más pequeños cuando se quedan atascados.
• Preocupaciones: los modelos pequeños pueden entrar en bucles o fallar más; las tareas ambiguas son difíciles de enrutar correctamente; muchos usuarios ajustan los prompts a modelos concretos, así que el enrutamiento automático puede no coincidir con sus expectativas.
• Varios consideran que esto es más adecuado para usuarios medios o para configuraciones de codificación agentic que para flujos de producción altamente controlados y preevaluados.

Integración, suscripciones y privacidad

• Puede usar suscripciones existentes de Claude/Codex (uso subvencionado) y recurrir a facturación por API; también se integra con herramientas como OpenCode y puede enrutar a Gemini.
• A algunos les preocupa la privacidad de los datos al usar cualquier proxy. El proyecto puede autoalojarse; según se informa, muchos clientes siguen eligiendo la opción alojada.

Comparaciones y alternativas

• En comparación con otros routers (p. ej., vLLM Semantic Router, Sakana Fugu, Cursor “auto”), este pone el énfasis en la codificación agentic y en la conciencia de la caché.
• Algunos señalan que los harnesses de programación y los IDE ya realizan su propio enrutamiento consciente del modelo y se preguntan si un router en la capa proxy rompe ese lazo de control.

Evidencia y preguntas abiertas

• Los comentaristas piden benchmarks públicos (p. ej., coding benches, RouterArena) y detalles sobre la frecuencia de los cambios.
• Los mantenedores dicen que las métricas internas muestran una calidad de código sin cambios y una mayor velocidad, pero aún no se han enlazado evaluaciones externas.