Fable 5 – 8 月份中位思考下降
有人声称 Anthropic 的 Fable 5 模型在数周内悄然退化,看起来“思考”更少、表现更差,这重新引发了人们对 AI 厂商在发布后削减推理成本、却仍以同一品牌名出售模型的担忧。评论者争论这种感知到的下降有多少是真实的,有多少是用户偏差或工作负载变化导致的,以及 token 级遥测和第三方基准是否显示其“推理”能力相对于宣传存在系统性欠交付。讨论进一步延伸到对透明度、监管以及更广泛采用开源或自托管模型的呼吁,以避免不透明的 A/B 测试、隐藏的量化和不断变化的服务质量。
感知到的模型退化
- 许多用户报告称,Fable 5(以及更早的 Opus 版本,加上其他厂商的模型)在发布数周后明显变差:更不主动、更浅薄、更“讨好”,在代码导航和工具使用方面也更差。
- 抱怨涉及多个领域(分布式系统、嵌入式、通用编程、数学、头脑风暴);有些人说日常“情绪波动”让模型感觉像老虎机。
- 一些人指出,在安全干预之后,更重的护栏和系统提示词变更,可能是这种“被削弱”行为的来源。
可能的技术 / 经济原因
- 假设包括:更低的测试时算力、运行时量化、减少“思考 token”、KV cache 分辨率下降、高需求下的负载削减、秘密路由到更便宜的模型,或自动模式下的能力降级。
- 有人认为,容量限制和新模型训练会导致算力从现有模型转移出去。
- 也有人提出“计划性淘汰” / “Shepard tone” 策略:先以满质量发布,随后逐步降低推理成本,再推出一个“新”模型,主要只是把原始行为恢复回来。
测量、基准与方法论
- 原始的“思考 token”分析争议很大:
- 支持者认为,跨数周、跨多个项目的语料库及 token 趋势强烈表明存在系统性变化。
- 批评者认为这属于对不断变化的工作负载做事后分析,而不是固定基准;日常波动也可能来自用户侧。
- 许多人认为,将编程会话与 ARC-AGI-2 的推理 token 数量进行比较并不合适,因为这些任务本就被刻意设计得极端。
- 外部追踪器(例如重复的编码基准)通常只显示小幅波动;有人认为确有下降,也有人说这仍在预期噪声范围内。
信任、透明度与监管
- 人们强烈担忧服务提供方运行着不透明的“黑箱”,可以在不披露的情况下更改量化、算力投入,甚至底层模型。
- 争论焦点在于这究竟是否属于彻底欺诈,还是受 ToS 约束、允许修改或降级服务。
- 多人呼吁:
- 独立的“度量衡”式监管,
- 针对“智能”的 SLA 或指标,
- 每次请求都提供模型 / 量化身份的证明。
用户感知、非确定性与替代方案
- 有些人认为,人类不擅长判断随机系统,并且容易受到享乐适应的影响;模型可能始终如一,只是预期提高了,或者项目变得更复杂了。
- 另一些人则坚持认为,这种变化太大、太突然,不可能仅仅用感觉来解释。
- 挫败感正推动人们转向开源权重和自托管模型(Qwen、GLM、DeepSeek 等),以获得稳定性和控制权,即便前沿能力略低,或硬件成本很高。