会是 Mythos 吗？

原文 ↗ Hacker News 讨论 ↗

基准设计与范围

  • 语料由 Mythos 之前发现的真实漏洞组成；其他模型会在这些文件上进行测试。
  • 在基准测试期间，会要求模型审计一个文件（可附带仓库上下文），但不会告知漏洞所在位置或具体内容。
  • 一个更强的“裁判”模型在知道漏洞位置和描述的情况下，判断参赛者是否找到了并解释了正确的问题。
  • 成本上限（例如每个模型 $100）会显著影响结果；GPT‑5.5‑Pro 在达到限制前只完成了 4/9 个案例。
  • 一个仅带基础工具（read/grep）的最小化 harness，与更丰富的“agent”设置表现相当甚至更好，同时消耗更少 token。

模型相对表现

  • 没有公开模型达到 Mythos 隐含的 9/9 表现；非 Mythos 的顶级模型通常能找到 4/9 个漏洞。
  • GPT‑5.5‑Pro 仅按百分比看位居前列，是因为它运行的案例更少，而且被认为对大规模审计而言成本高得不现实。
  • 进一步分析使用 Wilson score 以及时间/成本后，DeepSeek‑V4 和 MiMo v2.5 Pro 被认为是测试模型中的最佳性价比。
  • 复现运行表明，Gemma 4 31B（dense）在其体量下异常强大，有时能找到 6/9 个漏洞，并可与更大的模型相抗衡。
  • 便宜的中文/开源模型（DeepSeek、MiMo、Qwen）被视为真正具有竞争力，而不只是“benchmaxxed”。

Mythos/Fable 与其他模型

  • 许多人认为 Fable/Mythos 明显强于 Opus 和其他模型，尤其是在：
    • 安全审计、逆向工程和发现细微漏洞方面。
    • 空间推理与复杂数学/几何（例如 6DOF、计算几何）方面。
    • 自主驱动大规模代码改动或元应用方面。
  • 一些用户认为更小或特定任务优化的模型（例如 Codex、GPT‑5.5）在狭窄、高度优化的工作负载上优于 Fable。
  • 另一些人则觉得 Fable/Mythos 被过度吹捧，或者只是在考虑到高 token 用量后略微更好。

护栏、安全与“削弱”

  • 争论点在于 Mythos 只是一个关闭安全过滤的标准模型，还是一个带有专门 harness 与持久性的独特微调版本。
  • 有观察指出，一些 Google 产品（通过 Antigravity 的 Gemini）如今会抵制安全相关任务，而 Gemma 4 在找漏洞方面依然很强。
  • 普遍认为更早期的前沿模型（例如 Opus 4.6、o4‑mini）随着时间推移已经退化；提出的机制包括量化、推理预算减少、KV‑cache 压缩以及 MoE 专家数量减少。
  • 怀疑者将“削弱”说法与音频发烧友式的安慰剂效应相比；另一些人则引用性能跟踪器，认为这表明存在系统性的发布前漂移。

使用模式与更广泛的影响

  • 几位参与者描述 Fable 更擅长持续的、目标导向的工作，但也更“agentic”，有时会过于自主地编辑代码。
  • 一些人更喜欢以类人的方式与模型对话，声称这样效果更好、也减少了认知模式切换；另一些人担心这会模糊人类与机器的边界，并带来“AI psychosis”的风险。
  • 对 Mythos 的核心担忧在于：它可能让非专家也能发现并武器化零日漏洞，不过防御者同样可以利用 LLM 来发现并修补漏洞。