每 100 万 token 的价格毫无意义
“每 100 万 token 价格”的局限性
- 许多人认为单独看每 token 价格具有误导性：模型在啰嗦程度、所需的“思考”/努力设置、工具使用和缓存行为上都有差异，这些都会改变真实成本。
- 订阅制进一步扭曲定价：固定月费计划相较按需 token 计费可能提供巨大的折扣，但使用限制往往并不透明。
- 也有人认为 token 定价仍然是一个有用的基础指标，类似燃油价格或时薪：不完整，但你需要某种标准单位。
每个任务的成本与基准相关性
- 几位评论者更支持“每个基准任务的成本”或“每个提示词的成本”，认为这更能衡量现实世界成本。
- 但有个前提：基准必须与你的工作负载匹配。
- 如果你的任务比基准更难，那么一个“每任务很便宜”但无法完成你任务的模型就毫无用处。
- 如果你的任务容易得多，你可能会高估更强模型的成本。
- 有人建议按复杂度把任务路由到不同模型，并用一个 harness 来抽象模型选择。
速度、用户体验与冗长程度
- 速度和延迟与原始 token 成本同样重要，尤其是在生成提交信息这类交互式任务中。
- 啰嗦的模型总体上可能更慢也更贵，即使它们每秒 token 数更高或每 token 价格更低。
- 对于本地 LLM，在多轮/agentic 工作流中，提示处理速度可能成为主导因素。
缓存、工具使用与 orchestrator
- 缓存可以大幅降低有效成本（有些报告称约为 0.1x，或者缓存命中率非常高），但不同提供商的效率差异很大。
- 工具调用和 agent 框架经常会重新发送大量上下文，从而放大 token 用量；糟糕的上下文管理会抬高成本。
- 有人描述了类似看板的 orchestrator 和 agent 流水线，其中更小/更便宜的模型负责大多数执行任务，而更大的模型只用于规划。
开源模型与前沿模型，以及部署选择
- 对开源模型是否足以支撑端到端 agentic 工作流存在分歧；有人声称前沿模型必不可少，也有人报告开源模型以远低于其成本的价格就能取得很强的结果。
- 关于自建与云端也存在争论：一派主张购买 GPU 并在本地优化，以可预测的成本探索用例；另一派指出许多人缺乏硬件/技能，只能依赖托管的开权重模型。
更广泛的怀疑与“AI 泡沫”担忧
- 一些人强调，LLM 只是文本预测器，真正的价值来自 harness 和工作流设计，而不是原始模型本身。
- 也有人担心过度优化那些可以被刷分的指标，并相信如果/当 AI 泡沫破裂时，效率（每任务成本、每千瓦时任务数）将最为重要。