GLM-5.2 – 如何本地运行

原文 ↗ Hacker News 讨论 ↗

硬件要求与可行性

  • GLM‑5.2 的完整模型大约需要 750 GB–1.5 TB（FP8–FP16）；这里说的“本地”通常指高端工作站或服务器，而不是普通台式机或笔记本。
  • 讨论中提到的现实配置包括：512 GB DDR4/DDR5 + 双 RTX 3090/RTX 6000 或类似方案；配备 256–512 GB 统一内存的 Mac Studio；DGX Spark 级别设备；即将到来的高 RAM APU（Strix/Medusa Halo）或 Intel/Crescent Island 风格加速器。
  • 许多人认为 256 GB RAM 只是理论最低值；512 GB 以上对于可用速度和不那么极端的量化才算“现实”。

性能、TPS 与内存带宽

  • 解码速度一再被描述为“内存带宽数学”：
    TPS ≈ 活跃权重（GB）÷ 内存带宽（GB/s）。
  • 以约 40B 活跃参数、4-bit（约 20 GB）和约 100 GB/s 带宽计算，预计约 5 tok/s；MoE 路由和 speculation（MTP）会根据瓶颈情况带来提升或拖累。
  • 报告中的本地速度：
    • GLM‑5.2 Q4 在混合 CPU+2×3090 上：约 6 tok/s（如果 RAM/CPU 更快还能提升）。
    • 仅 CPU 的 Q6：约 1 tok/s；16 路并行流并不会提高单流 TPS。
  • 大量卸载到 CPU 或磁盘被描述为“不可用”，尤其是由于提示词预填充非常慢，难以用于交互式工作。

量化与质量

  • 该讨论强调，诸如“4-bit 动态量化几乎无损”之类的基准说法可能具有误导性；KL 散度 ≠ 真实任务质量。
  • 一些用户表示，对于长上下文、复杂任务，他们必须比所宣称的“无损” Q4 高 1–2 位，即使用 Q5/Q6。
  • GLM‑5.2 宣称接近 GPT‑5.x 的性能只适用于 FP8/FP16；在 FP4/Q4 下损失较小，但在非常低的比特宽度（FP2/Q1–Q2）下，据报道质量会下降到低于强力中端前沿模型的水平。

本地与云端经济性

  • 对个人而言，以高质量本地运行 GLM‑5.2 往往被认为“不划算”：硬件成本 10,000–90,000 美元，再加上数百瓦功耗，而 API 访问相对便宜。
  • 对于每月在 token 上已经花费数千美元的团队或公司来说，一台 15,000–80,000 美元的本地服务器可以在 1–3 年内回本，尤其是在共享使用和可预测的隐私/合规需求下。
  • 电费对比显示，本地推理的每 token 成本可以具有可比性，但前提是先投入大量资本支出。

隐私、控制与动机

  • 人们强烈希望本地模型用于：
    • 数据隐私，避免供应商日志记录/拒绝服务。
    • 监管与地缘政治隔离。
    • 摆脱速率限制、配额以及云产品的“劣化（enshittification）”。

竞争、模型格局与未来

  • 许多人认为 GLM‑5.2 是更广泛的开源权重浪潮的一部分（与 DeepSeek、Qwen 等并列），正在削弱专有“护城河”的说法。
  • 共识是：面向消费者的短期“甜蜜点”仍然是大约 27–35B 的模型（例如 Qwen3.6‑27B）并完全放入 VRAM；750B 级别的模型仍然是小众、昂贵，而且在本地通常过慢。