Decisions API 现已进入公测

OpenAI 新推出的 Decisions API 是一个基于 gpt‑6‑luna 模型的快速、低成本分类器,被视为对 Jev 及类似“决策模型”的直接回应;这类模型返回经过校准的概率,而不是自由形式文本。评论者将其更高的价格和早期基准表现不一,与 Jev 和开源替代方案进行比较,但也指出它具备图像输入、长上下文窗口,以及对已在使用 OpenAI 的企业来说更容易采购等优势。更广泛的主题是,这类决策模型究竟是在加速 AI 的商品化——把提供商推向价格战和锁定策略——还是会成为更大 AI 系统中用于路由、安全检查和实时自动化的基础工具。

产品与 API 设计

  • 新的 /v1/decisions 端点封装了 gpt‑6‑luna 模型,用于针对输入回答结构化“问题”,返回的是概率而不是文本。
  • 支持谓词(是/否)和选择题,支持对大量问题并行处理、1M token 输入,以及多模态(图像)输入。
  • 输出 token 免费;费用为每 100 万输入 token 0.10 美元。不使用 KV 缓存;很可能针对最低延迟进行了优化。

与 Jev 及其他决策模型的比较

  • 线程里最主要的是直接对比。Jev:每 100 万输入 token 约 0.042 美元,因此比 Decisions 便宜约 2–3 倍;两者的输出都免费。
  • 一些用户的评测结果:Jev 在他们的标注/UI 路由任务上更快也更准确;Decisions 更慢、更贵,而且偶尔会调用失败。
  • 也有人报告 Decisions 在类似提示词下表现良好,说明提示格式和 API 差异很重要。
  • 相比 Jev,Decisions 的主要差异化在于:图像输入、长上下文窗口,以及可通过现有的 OpenAI 企业栈和云平台使用(例如支持 OpenAI 但不支持 Jev 的 Bedrock/Azure)。

校准、概率与技术行为

  • 争论点在于,经典 LLM 提示词是否已经足够;反方认为,决策模型会暴露经过校准的概率,而这无法通过标准 LLM 调用获得。
  • 一些实验显示:
    • 谓词式问题与预期概率非常吻合。
    • 选择题式问题会显示偏差(对主类过度自信、对选项顺序敏感)。
  • 多个问题彼此独立;概率不需要相加等于 1。
  • “置信度”与“每类概率”之间的关系引发了疑问;一种用途是拒绝低置信度答案。

讨论的使用场景

  • 内容审核、支持路由、标签分类、UI/组件选择、PKM 辅助工具。
  • 实时或近实时任务:电子游戏、CCTV/火车站台监控、shell 命令安全检查、凹痕/缺陷质检、通知分流(“紧急” WhatsApp 消息)。
  • 有些人认为它主要是更大代理系统中的一个子组件(相对于更大 LLM 的“脑”,它像“cerebellum”)。

市场、策略与怀疑态度

  • 许多人认为,决策模型说明 AI 基础设施正在商品化;价格战和快速跟进将是大势所趋。
  • 支持继续使用 OpenAI 的理由包括:现有供应商审批、合规/ZDR、数据保留合同、采购摩擦,以及平台粘性。
  • 也有人批评这次发布是对 Jev 的仓促回应、打磨不足,而且不太可能形成持久护城河;开源和本地方案被视为可行替代品。