Fable 5 – 8 月份中位思考下降

有人声称 Anthropic 的 Fable 5 模型在数周内悄然退化,看起来“思考”更少、表现更差,这重新引发了人们对 AI 厂商在发布后削减推理成本、却仍以同一品牌名出售模型的担忧。评论者争论这种感知到的下降有多少是真实的,有多少是用户偏差或工作负载变化导致的,以及 token 级遥测和第三方基准是否显示其“推理”能力相对于宣传存在系统性欠交付。讨论进一步延伸到对透明度、监管以及更广泛采用开源或自托管模型的呼吁,以避免不透明的 A/B 测试、隐藏的量化和不断变化的服务质量。

感知到的模型退化

  • 许多用户报告称,Fable 5(以及更早的 Opus 版本,加上其他厂商的模型)在发布数周后明显变差:更不主动、更浅薄、更“讨好”,在代码导航和工具使用方面也更差。
  • 抱怨涉及多个领域(分布式系统、嵌入式、通用编程、数学、头脑风暴);有些人说日常“情绪波动”让模型感觉像老虎机。
  • 一些人指出,在安全干预之后,更重的护栏和系统提示词变更,可能是这种“被削弱”行为的来源。

可能的技术 / 经济原因

  • 假设包括:更低的测试时算力、运行时量化、减少“思考 token”、KV cache 分辨率下降、高需求下的负载削减、秘密路由到更便宜的模型,或自动模式下的能力降级。
  • 有人认为,容量限制和新模型训练会导致算力从现有模型转移出去。
  • 也有人提出“计划性淘汰” / “Shepard tone” 策略:先以满质量发布,随后逐步降低推理成本,再推出一个“新”模型,主要只是把原始行为恢复回来。

测量、基准与方法论

  • 原始的“思考 token”分析争议很大:
    • 支持者认为,跨数周、跨多个项目的语料库及 token 趋势强烈表明存在系统性变化。
    • 批评者认为这属于对不断变化的工作负载做事后分析,而不是固定基准;日常波动也可能来自用户侧。
    • 许多人认为,将编程会话与 ARC-AGI-2 的推理 token 数量进行比较并不合适,因为这些任务本就被刻意设计得极端。
  • 外部追踪器(例如重复的编码基准)通常只显示小幅波动;有人认为确有下降,也有人说这仍在预期噪声范围内。

信任、透明度与监管

  • 人们强烈担忧服务提供方运行着不透明的“黑箱”,可以在不披露的情况下更改量化、算力投入,甚至底层模型。
  • 争论焦点在于这究竟是否属于彻底欺诈,还是受 ToS 约束、允许修改或降级服务。
  • 多人呼吁:
    • 独立的“度量衡”式监管,
    • 针对“智能”的 SLA 或指标,
    • 每次请求都提供模型 / 量化身份的证明。

用户感知、非确定性与替代方案

  • 有些人认为,人类不擅长判断随机系统,并且容易受到享乐适应的影响;模型可能始终如一,只是预期提高了,或者项目变得更复杂了。
  • 另一些人则坚持认为,这种变化太大、太突然,不可能仅仅用感觉来解释。
  • 挫败感正推动人们转向开源权重和自托管模型(Qwen、GLM、DeepSeek 等),以获得稳定性和控制权,即便前沿能力略低,或硬件成本很高。