GLM 5.2 在我们的基准测试中击败 Claude

模型性能与能力

  • 许多评论者表示,GLM‑5.2 是一个很强的编码和安全工作“主力”,通常可与 Claude Opus 4.6 相媲美,实际表现有时也接近 4.8。
  • 有人说它从不拒绝“高风险”命令,而且在发现和修复漏洞方面特别出色;也有人觉得它在某些任务上不稳定,或者会“螺旋式陷入胡言乱语”。
  • 一些人声称,中国模型(GLM、DeepSeek、Kimi、MiMo)现在在编码和网络安全方面已经与美国前沿模型具有竞争力,甚至更强,尽管整体上未必如此。

基准测试、方法论与 harness 效应

  • Semgrep 基准测试范围很窄:特定开源仓库中的 IDOR 漏洞、单一任务、单次运行。很多人认为“击败 Claude”这个标题夸张且带有吸引点击的倾向。
  • 许多人强调,harness/agent 设计(Claude Code、OpenCode、Pi、自定义 Pydantic harness 等)往往比原始模型选择更重要。同一个模型在不同脚手架下可能显得很弱或很强。
  • 一些外部基准和个人测试认为,GLM‑5.2 在多智能体编码方面略低于 Opus 4.6,但性价比更高。另一些人在自己的流水线中发现 DeepSeek V4 Pro 或 Gemma 4 31B 在找 bug 方面更强。
  • 有人怀疑某些模型,尤其是来自中国实验室的模型,可能是“benchmaxxed”(针对公开基准过拟合),但在这个讨论串里这一点有争议且未被证实。

成本、获取方式,以及本地与云端

  • 大家对通过 OpenRouter、Neuralwatt、z.ai coding plans、OpenCode 等使用 GLM‑5.2 表现出浓厚兴趣。有些人觉得云端定价极其有吸引力(花不到 20 美元就能用数亿 token);另一些人则认为,与 Claude/Codex 订阅相比,z.ai 和 Ollama 托管的 GLM 定价过高。
  • 在本地运行完整的 GLM‑5.2 被认为对大多数人来说不现实:需要 8–16 块高端 GPU,或者极端量化并接受非常慢的吞吐和巨大的磁盘流式读取。量化版本可以演示,但不适合舒适地进行重度工作。
  • 讨论集中在本地推理是否会在消费级硬件上迎头赶上;一些人持乐观态度(小模型已经超过了旧的 GPT‑4),另一些人则认为内存和 GPU 约束以及云端经济性会让大模型继续留在远端。

地缘政治、监管,以及开放与闭源

  • 很长的子线程推测,美国可能会对强大的外国模型实施进出口管制、对托管方施加支付网络压力,以及与过去的加密管制相类比。其法律可行性存在争议。
  • 有人认为,中国的开放权重发布是一种战略性的“倾销”举措,旨在削弱美国 AI 商业模式;也有人认为这只是正常竞争。
  • 许多人预计,前沿闭源模型会变得受限或成为“仅供防御使用”,这将使像 GLM‑5.2 这样的强大开放权重模型对普通开发者和防御者变得越来越重要。