Amazon 通过用 Strands Decider 替换 Sonnet 4.6 节省了数百万美元

据报道,Amazon 通过用内部“决策模型” Strands Decider 替换 Anthropic 的 Claude Sonnet 4.6,将工单分类成本削减了数百万美元;该模型建立在 Gemma 或 Qwen 等小型开源权重模型之上。评论者将此视为一个具体例子,说明更广泛的趋势正在发生:LLM 很适合快速原型和数据标注,但在高频、狭窄任务中往往又慢又贵,而传统 ML 或轻量级专用模型可以做得同样好,甚至更好。讨论串还凸显了工程效率、组织惯性与“AI 热潮”之间的张力,许多人预测,专用决策模型和其他小模型将越来越多地在生产后端取代通用 LLM。

成本节省与规模

  • 评论者估算,每处理一百万张工单可节省约 21.7k 美元,因此“数百万”的节省意味着每年可能有数千万张工单;一些 Amazon 员工表示,考虑到工单几乎用于所有事情,每年 9200 万以上工单是有可能的。
  • 多人指出,对 Amazon 而言,几百万美元相对于整体利润来说并不算多,但在团队/功能层面仍然很有意义。
  • 也有人指出,把一个过大、过时、通用的 LLM 换成一个小型、面向任务的模型,并将输入裁剪约 70%,显然能降低成本;关键在于真的去做。

为什么是 Sonnet,为什么是 Strands Decider?

  • 有人质疑 Amazon 为什么用 Sonnet 4.6,而不是更便宜的模型(Haiku、Luna、中文模型、Jev 等)。
  • 回复称:当他们开始时,Sonnet 可能是 Bedrock 上最好或唯一可行的模型;当时 Haiku 较弱,Luna/Jev/decision models 还不可用。
  • Strands Decider 被描述为一个源自 AWS 的决策模型(最初基于 Qwen,后来基于 Gemma),也是 AWS agent SDK 的一部分,因此这被视为部分是内部 dogfooding,部分是产品案例/宣传。

决策模型 vs 通用 LLM

  • 许多人认为工单路由是一个经典的分类/决策任务,更适合专门模型:更便宜、更快、校准更稳定,也不需要长文本生成。
  • 像 Strands/Jev 这样的决策模型被描述为可作为 agent 内部或旁边的“system 1”组件,通常能提供约 90% 的定制分类器能力,而无需专门训练。
  • 术语上也存在一些困惑(agent vs 单次模型调用;“decision tree” vs “decision model”)。

LLM 与传统 ML 以及数据标注

  • 大量讨论回顾了 SVM、朴素贝叶斯、随机森林、BERT、embeddings + 小型 head 等方法。
  • 支持 LLM 的观点:上手极其简单,不需要标注数据或 ML 专业知识,非常适合快速原型和合成标注;之后还可以蒸馏成更小的模型。
  • 支持传统方法的观点:对于简单分类,LLM 往往贵 100 到 1000 倍,速度更慢,对提示词和输入顺序敏感,而且由于炒作而被过度使用。
  • 有几位描述了一种常见模式:先发布基于 LLM 的 MVP,然后在成本和规模压力下重构为专用模型。

工单文化与其他讨论

  • 多条评论确认,超大组织会为几乎所有运营、IT 和设施事件生成工单,通常还会有自动生成的工单和复杂的路由结构。
  • 有人认为这对可追溯性和审计轨迹是必要的;也有人抱怨官僚主义和噪音。

可靠性与质量担忧

  • 有人指出 JSON key 的顺序和输入的细微变化都可能改变 LLM 的输出,凸显了它们作为“文本补全”系统的特性和脆弱性。
  • 也有人批评文章只强调速度和成本,却很少讨论准确率或错误率,因此真实的质量影响并不清楚。