Qwen3.8-2.4T

原文 ↗ Hacker News 讨论 ↗

一款新的 2.4 万亿参数 Qwen3.8 模型以开权重形式发布，许多人对其接近顶级专有模型的基准表现感到惊讶，但同时也引发了现实层面的问题：在实际环境中如何运行一个约 5 TB 的系统。评论者围绕量化策略、硬件需求，以及与 DeepSeek V4 Flash、GLM 5.2 或即将到来的 Qwen3.8-27B 这类更小但优化更好的模型相比，超大规模的 1-bit 或 FP8 版本是否值得展开争论。也有人担心开源版本被有意限制——不带视觉能力、上下文长度缩水、没有 QAT 量化——这使得它虽然性能接近 Kimi K3，却比对手更难自行托管。

总体发布与定位

  • Qwen3.8-2.4T 是一个约 2.4T 参数的 MoE 模型，权重约 5TB（bf16，≈2.5TB fp8），基准表现被定位在 Opus 4.8–Fable 5 左右。
  • 它被视为 Kimi K3（2.8T-A100B）的竞争对手，但由于发布时仅提供 bf16/fp8，且缺乏可直接用于 QAT 的 4-bit 权重，因此更难部署。

规模、性能与对比

  • 有说法称：1-bit 量化版本（约 397GB，95B 活跃 MoE）表现接近“Opus 4.5 级别”，并有人认为超大模型在重度量化下性能下降更少。
  • 也有人反驳：将 1-bit 结果与全精度模型对比具有误导性；KL 散度也被批评为能力的不足代理指标。
  • 多位评论者表示，DeepSeek v4 Flash 和 Kimi K3 以更小的规模和成本已经达到 Opus 4.5–4.6 的水平。
  • 在编码方面，一些用户报告 GLM 5.2 的表现优于 Kimi K3 和 Qwen 3.8，尽管它消耗更多 token，但对他们来说反而更经济。

硬件需求与量化

  • 运行完整 bf16（约 4.9TB）或 fp8 被认为只适合集群；消费级配置必须依赖量化模型。
  • 对于固定 RAM 预算，关于“更大模型更低 bit > 更小模型更高 bit”的旧规则也存在争议：MoE、QAT、MTP/DFlash、KV 效率使情况变得更加复杂。
  • 大致共识是：
    • 对标准模型来说，4-bit 往往是“安全”的最低精度。
    • 低于 4-bit 通常表现较差，除非模型明确按这种精度训练（而大型模型里这种情况很少）。
  • 许多用户更关注即将到来的 27B Qwen3.8 用于本地部署（配合 Q4 量化可放入高端 GPU），并指出开源发布在 120–300B 区间存在一个“空档带”。

功能与限制

  • 这个开权重 2.4T 模型没有视觉能力，支持 250k 上下文，并且不包含专有版 Qwen3.8-Max 中的一些“思考”/工具功能（Qwen3.8-Max 为 1M 上下文，内置工具，且支持非思考模式）。
  • 有人认为这比 Qwen 3.5 更完整的开源发布倒退了一步。
  • 新的 reasoning_effort 参数（low/medium/xhigh）旨在在速度与深度之间做权衡，但用户反馈即使设为 low，循环式输出问题仍可能存在。

生态、工具与服务提供商

  • Unsloth 提供了早期量化版本和详细文档；许多人称赞其质量和响应速度，但也有人对某些 gguf 构建版本提出了问题。
  • Llama.cpp 和类似工具可以在没有 QAT 的情况下完成量化，但可能牺牲最优性；服务提供商大概率会偏好 fp8 或高质量校准的 nvfp4，直到出现足够好的 Q4 QAT。
  • 提到的服务方式包括阿里自家的云、OpenRouter、DigitalOcean、Fireworks、OpenCode 集成；Bedrock 则被认为越来越偏向主要是美国的专有实验室。

中文竞争与政策背景

  • 一些评论者将 Qwen 的开源发布与中国鼓励开源模型和技术转移的产业政策联系起来，将其视为地缘政治策略与推动开放性的现实动力。
  • 广泛存在一种看法：中文开权重发布正在对西方实验室形成压力，阻止一个完全封闭的“计量智能”未来出现。

硬件演进与未来模型

  • 对于在不量化的情况下运行这类模型，低于 10,000 美元的硬件何时能做到的估计从约 5 年到 2040 年不等；带宽（HBM vs DDR）被认为是关键限制因素，而不仅仅是容量。
  • 也有人预计，未来更小（<400B）的模型会比商品级硬件舒适承载 2.4T bf16 更早达到相似智能水平。