Gemini 决策 API

Google 新推出的 Gemini Decisions API 将 Jev 风格的决策模型引入其 AI 产品组合,为分类、路由和护栏任务提供校准后的概率,并支持文本、图像、音频、视频和 PDF。评论者将其视为对 Jev 和 OpenAI Decisions API 的快速跟进,并围绕延迟、准确性、成本和概率校准,以及 Google 的产品寿命和定价策略展开讨论。许多人指出,决策模型可以大幅减少诸如邮件过滤、工具路由和安全检查等场景中的 token 使用量和成本,但也质疑它们在高风险或对准确性极其敏感的用例中是否可靠。

产品与功能

  • Gemini Decisions API 被描述为一种 Jev 风格的决策模型,支持文本、图像、音频、视频和文件(例如 PDF)。
  • 多模态输入被视为一项主要差异化能力,尤其适用于通话分析或基于文档的决策等任务。
  • 有人指出,这建立在 Google 早先在 Mediapipe 中的“Decision Maker”工作之上(本地推理),但看起来是一个独立的项目。

定价、性能与基准测试

  • 一些评论者表示,它比竞争性的决策模型更贵;具体对比提到 $0.10/M,而其他模型约为 ~$0.02/M tokens。
  • 据报道,延迟表现具有竞争力,但并不明显优于 Jev 或其他 API;p50 数字在纸面上看起来很强。
  • 各供应商之间的基准测试结果看起来非常接近;有人认为这说明需要更好的基准测试,也有人认为这表明正在趋同或存在抄袭。

与 Jev / OpenAI Decisions 的比较

  • 很多人认为这是对 Jev 的快速跟进,类似于 OpenAI 的 Decisions 端点。
  • 有人报告称,Gemini Decisions 在他们自己的测试中获得了显著更低的 Brier 分数,但成本大约高出 2 倍。
  • Jev 仍然因速度、价格以及仅文本工作负载而受到好评;预计 Jev 仍将可行,尤其考虑到其最近的融资。

决策模型的用例

  • 常见用途:路由、分类、垃圾邮件/工单分流、邮件过滤、工具选择、护栏,以及替代 LLM-as-judge。
  • 也用于标注训练数据、控制人工复核、评估系统输出,以及在调用完整 LLM 之前作为廉价路由器。
  • 有人认为其价值在于大幅减少 token 使用量以及确定性、低温度行为;也有人觉得这个领域仍然是“在找问题的解决方案”。

概率、校准与技术争论

  • 有一个很大的子讨论围绕这些模型如何估计概率以及它们的校准程度展开。
  • 提出的观点包括:LLM 的 token logprobs 在 RLHF 之后校准较差;决策 API 声称有更好的校准,但如果没有特定任务的真实标注,这很难验证。
  • 争论的焦点在于,交叉熵训练是否在实践中意味着良好的概率估计,尤其是在协变量偏移或不同任务表述下。
  • 有人认为,只有使用带标签数据进行经验验证才能证明校准;单靠一致性是不够的。

对 Google 的信任与产品寿命

  • 由于过去产品被关闭,部分人对采用新的 Google 服务持怀疑态度;一些人只信任 Search、Gmail、YouTube 等核心产品。
  • 反方观点是:面向企业的 API 不太可能像消费级应用那样被突然砍掉,因为它们服务的是付费客户。
  • 某些提示词上的内容政策阻断,以及尚未立即整合到 Vertex 中,被视为早期摩擦。

怀疑与批评

  • 批评者认为,没有显式“推理”的模型对于严肃分类较弱,而专门的小模型可以匹敌甚至超越它们。
  • 其他人质疑,如果没有按任务校准,向 LLM 索取置信度或使用通用决策 API 是否可能真正符合原则。
  • 一些人担心潜在滥用(例如,对人做出不透明的自动化决策),而另一些人则将决策模型视为对这种行为的一种制衡。