如果你不运行自己的 LLM 代理，怎么知道发生了什么？
随着对 AI 编码智能体和 LLM“harnesses”的依赖加深，开发者越来越希望更深入地观察并控制这些工具如何处理他们的代码、数据和 API 密钥。许多人主张运行自托管的 LLM 代理，或使用基于 OpenTelemetry 的追踪来记录提示词、工具调用、成本和护栏；而另一些人则认为，与供应商托管的订阅相比，这只会增加脆弱的复杂性。其背后是更广泛的担忧：安全、供应商锁定、不透明的数据使用，以及按 token 付费的 API、本地模型与被补贴的 LLM 订阅之间长期经济性的博弈。
为什么要运行 LLM 代理或可观测性层？
- 许多人想要对智能体实现“完全可观测性”：提示词、工具调用、响应、token 使用量，以及推理过程。
- 代理或追踪可以让人们：
- 按项目/组织跟踪成本。
- 调试复杂的多智能体工作流。
- 强制执行护栏（例如，受限工具、过滤后的网页结果、虚拟 API 密钥）。
- 避免将提供方密钥泄露到沙箱或不受信任的环境中。
- 一些用户会把所有 AI 聊天存档到个人“语料库”中，以便日后搜索和复用。
提到的工具和方法
- 代理 / 网关：LiteLLM、Bifrost、GoModel、Aperture、llama-dash、自定义网关、本地“AI ops”仪表盘。
- 非代理可观测性：来自 Codex/Claude Code 的 OpenTelemetry（OTEL）追踪，以及其他 harness 的插件；基于 MLflow 的追踪；各种仪表盘和历史查看器。
- 有些人更喜欢简单的 MITM 代理，或者直接抓取本地 JSONL/聊天历史，而不是完整的网关。
订阅制与 API 定价之争
- 多位用户表示，高端订阅很快就会用满，而等价的 API 成本会高出 10 到 30 倍。也有人说，即便是每月 25 美元的订阅也很难用完。
- 普遍看法是：个人订阅是被补贴的“亏本引流产品”，而企业必须按 API 费率付费。
- 对于这些补贴会很快结束，还是会作为长期获客工具持续存在，存在分歧。
- 有人认为，在严格控制需求的前提下，按 token 使用 API 可能更便宜，也更“诚实”；也有人更喜欢统一费率订阅，以避免成本焦虑和过度优化。
安全、隐私与合规问题
- 代理和网关用于隐藏提供方密钥、集中策略，并防止凭据进入智能体。
- 欧盟用户提醒，聊天日志往往包含个人或敏感数据，必须作为受监管的“个人数据”对待，而不只是代码。
- 有人强调要在虚拟机中对 harness 进行沙箱隔离，并监控所有外发网络流量，因为 OTEL 只能显示工具选择报告的内容。
- 强数据使用保证通常需要企业方案，但这些方案按 API 定价，价格昂贵。
怀疑与缺点
- 有人担心代理和 LLM 网关是“有 bug、靠感觉写出来的一团糟”，并且会成为新的单点故障。
- 另一些人认为这种级别的配置对爱好者来说更像是“配置表演”；很多人对默认订阅和最少监控就已经满意。
- 有人认为，基于 OTEL 的追踪比插入代理更安全、侵入性更低。