Si no ejecutas tu propio proxy de LLM, ¿cómo sabes qué está pasando?
La creciente dependencia de agentes de programación con IA y de “harnesses” de LLM está empujando a los desarrolladores a buscar una observabilidad y un control más profundos sobre lo que estas herramientas hacen con su código, sus datos y sus claves API. Muchos abogan por ejecutar proxies de LLM autoalojados o usar tracing basado en OpenTelemetry para registrar prompts, llamadas a herramientas, costes y guardrails, mientras que otros sostienen que eso añade una complejidad frágil frente a las suscripciones gestionadas por el proveedor. Detrás de todo está una preocupación más amplia por la seguridad, la dependencia del proveedor, el uso opaco de los datos y la economía a largo plazo de las suscripciones subvencionadas de LLM frente a las API de pago por token y los modelos locales.
¿Por qué ejecutar un proxy de LLM o una capa de observabilidad?
- Muchos quieren “observabilidad total” de los agentes: prompts, llamadas a herramientas, respuestas, uso de tokens y razonamiento.
- Los proxies o el tracing permiten a la gente:
- Seguir los costes por proyecto/organización.
- Depurar flujos de trabajo complejos y multiagente.
- Imponer guardrails (p. ej., herramientas limitadas, resultados web filtrados, claves API virtuales).
- Evitar filtrar claves del proveedor en sandboxes o entornos no confiables.
- Algunos usuarios archivan todos los chats de IA en “corpora” personales para buscarlos y reutilizarlos después.
Herramientas y enfoques mencionados
- Proxies / gateways: LiteLLM, Bifrost, GoModel, Aperture, llama-dash, gateways personalizados, paneles locales de “AI ops”.
- Observabilidad sin proxy: trazas de OpenTelemetry (OTEL) desde Codex/Claude Code y complementos para otros harnesses; tracing basado en MLflow; varios paneles y visores de historial.
- Algunos prefieren proxies MITM simples o simplemente extraer el JSONL/historial de chats local en lugar de gateways completos.
Debate sobre suscripción frente a precios de API
- Varios informan que agotan rápidamente sus suscripciones de gama alta, con costes equivalentes de API entre 10 y 30 veces mayores. Otros dicen que incluso una suscripción de 25 $/mes es difícil de agotar.
- La visión general: las suscripciones personales están subvencionadas como “loss leaders”, mientras que las empresas deben pagar tarifas de API.
- Hay desacuerdo sobre si las subvenciones terminarán pronto o si seguirán siendo herramientas de adquisición a largo plazo.
- Algunos sostienen que el uso de API por token puede ser más barato y más “honesto” si controlas estrictamente la demanda; otros prefieren suscripciones de tarifa plana para evitar la ansiedad por el coste y la sobreoptimización.
Preocupaciones de seguridad, privacidad y cumplimiento
- Los proxies y gateways se usan para ocultar claves del proveedor, centralizar políticas y mantener las credenciales fuera de los agentes.
- Participantes de la UE advierten que los registros de chat suelen incluir datos personales o sensibles y deben tratarse como “datos personales” regulados, no solo como código.
- Algunos hacen hincapié en aislar los harnesses en VMs y monitorizar todo el tráfico de red saliente, ya que OTEL solo muestra lo que las herramientas deciden informar.
- Los planes empresariales a menudo se requieren para garantías sólidas de uso de datos, pero estos tienen precios de API y son caros.
Escepticismo y desventajas
- Preocupaciones sobre proxies y gateways de LLM como “marañas buggy y vibecoded” y nuevos puntos únicos de fallo.
- Otros sienten que este nivel de configuración es “teatro de configuración” para aficionados; muchos están satisfechos con las suscripciones predeterminadas y una monitorización mínima.
- Algunos argumentan que el tracing basado en OTEL es más seguro y menos intrusivo que insertar un proxy.