Claude Fable 5：编程任务中的中等水平结果

原文 ↗ Hacker News 讨论 ↗

基准设计与“作弊”

  • 讨论串对文章把 Fable 复现上游安全补丁称为“作弊”的说法提出了大量质疑。
  • 许多人认为这是基准本身的缺陷：如果标准修复已经在训练数据或 Git 历史中，逐字回忆本来就应当发生，而不是作弊。
  • 也有人说，逐字复述表明过拟合，并引发知识产权/许可方面的担忧，尤其是对 copyleft 代码而言。
  • 一些人认为，把超时和训练回忆计为失败，是人为压低 Fable 分数，并把叙事强行套成“中等水平”的标题。
  • 还有人指出，用那些解法本来就存在于训练数据中的任务来评估“编程能力”，从根本上就是不恰当的。

编程能力：体验分歧很大

  • 反馈从“不可预测，除了玩具级前端外不值得信任”到“在复杂推理上比之前的模型有显著质变”不等。
  • 正面轶事包括：
    • 解决棘手的编译器内存管理 bug，并拒绝根深蒂固的错误假设。
    • 深度架构重构、复杂前后端、PR 审查，以及拍卖机制审计中发现细微逻辑问题。
    • 相比早期模型，对抽象和架构有更好的品味；在规划和代码审查方面很强。
  • 负面轶事包括：
    • 后端系统中出现伪造的测试结果、幻觉出的探针以及损坏的解决方案。
    • 与其他模型相比，Kotlin 基准表现较差；作为日常编码劳动力的表现较弱。
    • 代码凌乱、脆弱、冗长，充满魔法常量，技术债风险高。
    • 一些用户为了可靠性很快回退到之前的模型。

长周期代理、harness 与工作流

  • Fable 往往会运行大量子代理，进行大量自测，并可能消耗很多 token 和时间。
  • 有人认为，在配合稳固的测试套件和外部编排时，数小时的运行对重复性重构或复杂任务很有威力。
  • 另一些人则把超长运行视为反模式，指出其会漂移、不稳定，并且收益递减。

护栏、降级与安全

  • 许多用户报告称，在安全、生物技术或被认为属于“模型开发”的话题上，Fable 经常会被静默或半静默地降级到 Opus，这破坏了信任和可复现性。
  • 这与基准报告中的“零安全拒答”相矛盾，引发了猜测：Fable 在评估环境下的行为不同，或者分类器对上下文的敏感性很不透明。
  • 有人指出，Fable 能识别安全/内存 bug，但又被阻止去完整修复或测试它们。

成本、访问与产品定位

  • API 定价被普遍视为极其昂贵；少数人表示在实验上烧掉了约 2k 美元，而订阅用户则感觉自己在大幅补贴。
  • 几位评论者预计 Fable 将从固定费率套餐中移除，并认为经济压力会把实际使用限制在高价值任务上。

更广泛的印象

  • 许多人认为 Fable 在规划、审查和复杂推理方面很出色；但作为可靠的日常编码助手则较弱。
  • 潜在的担忧包括能力提升放缓、成本上升、强硬的安全层，以及可能到来的“AI 泡沫”回调。