在消费级硬件（RTX 4090）上以 100T/s 运行 Qwen 3.8 Flash Next（125B）

原文 ↗ Hacker News 讨论 ↗

在 Strata 推理引擎上把 Qwen 3.8 Flash Next（一个 125B 参数的 MoE 模型）运行于消费级 GPU，用户可获得 50–120+ tokens/s 的速度，这让一些人认为它在日常编程和代理式工作上可以媲美甚至取代 Claude Opus 等云模型。讨论的焦点很大程度上集中在激进的低比特量化（Q2–Q3）上：支持者报告与 Qwen 3.8 27B 相比几乎没有质量损失，甚至达到接近 Opus‑4.7 的表现；而质疑者则强调在更难任务、视觉准确性和长程可靠性方面的退化。总体而言，该项目被视为让高端本地 LLM 在约 1.5k–3k 美元硬件上变得实用的重要一步，尽管准确性、并发性以及 4-bit 以下量化还能推进到何种程度仍存在疑问。

性能与硬件结果

  • 多位用户报告，在 RTX 4090 上使用 Strata 运行 Qwen 3.8 Flash Next，即使在大上下文（最高 262k+）下也能达到 100–125 tok/s。
  • 更旧/更弱的配置仍能获得可用速度：3080 10GB 约 30 tok/s，3090 约 40–60 tok/s，配备大系统内存的 R9700 约 60 tok/s，仅 CPU 约 7 tok/s，但对于长时间过夜运行仍有用。
  • Apple silicon（M1/M5 Max，64–128GB）可运行 3-bit 量化，速度为 20–70 tok/s，但 CPU 带宽和内存限制可能成为 prefill 瓶颈。
  • 有人报告通过其他引擎（例如 ds4）运行 Flash Next 的 4-bit 量化，在高端工作站 GPU 上可达到 200+ tok/s 的解码速度。

量化与模型变体

  • 讨论大量围绕低比特量化展开：
    • Q2：普遍被视为严重退化，不适合认真工作，但也有人认为更大的模型和良好的校准能让 Q2 适用于狭窄任务。
    • IQ3_XXS / IQ3_S：被反复提及为“甜点位”，某个基准声称其性能与未量化版本相差约 1 分，有时在某些任务上甚至略优。
    • Q4：许多人认为这是如果你想“保留大部分功能”时的实用下限。
  • “Coder” 变体裁剪了半数专家，并达到完整 SWE-Bench Verified 的约 91%，但一些用户觉得它明显不如完整的 Flash Next 模型。

与 27B 和云模型的质量对比

  • 许多人报告 Flash Next（即使是 3-bit）在编程和通用任务上明显优于 Qwen 3.8 27B，而且每个 token 的速度也更快。
  • 也有人表示更高精度的 27B（例如 Q6、FP8/NVFP4）感觉更准确或更稳定，尤其是在超长上下文下。
  • 一些用户将 Flash Next（IQ3 量化）在 DeepSWE 等编程基准上与先前的前沿云模型（各种 Opus/Sonnet 版本）大致看齐；也有人仍不信服，出于可靠性更偏好云端。

推理引擎与实现细节

  • Strata 的 MoE 专家缓存/卸载是关键创新：它每个 token 维持约 6B 激活参数，同时在 VRAM 与 RAM 之间分页调度专家。
  • 用户将 Strata 与 llama.cpp、ds4、ninfer、sglang 和 FreeToken 进行比较；在 Flash Next 上，Strata 往往在速度上胜出，但在某些任务上可能更差（尤其是一个视觉基准测试中，使用相同权重时 llama.cpp 明显优于 Strata）。
  • 并发：最初关于并行表现不佳的报告后来被修正；Strata 支持“parallel”设置，并且现在会把上下文交换到 RAM。

局限性、怀疑与未解问题

  • 一些评论者不信任 4-bit 以下量化，并指出许多“消费级 GPU 上 100 tok/s”的演示都没有给出准确率指标。
  • 在 Strata 下的视觉质量被明确报告为在坐标预测测试中明显差于 llama.cpp。
  • 有些用户在低比特率或激进的 MTP 设置下看到了幻觉或工具调用问题；也有人报告没有这些问题，并强调配置敏感性。
  • 关于 Flash Next Q2/Q3 是否真的优于一个量化良好的稠密 27B，尤其是在受限硬件上，存在争论。

更广泛的主题

  • 大家强烈兴奋于：如今在约 1.5k–3k 美元的消费级配置上，已经可以获得“像 Opus 一样”的本地性能，尽管还不是对所有人都如此。
  • 人们也担忧硬件成本、VRAM/RAM 停滞以及量化炒作；一些人预计进一步的效率提升将削弱当前的数据中心扩建。
  • 讨论还涉及安全性（curl|bash 安装器、本地代理）以及对政治敏感话题的审查/覆盖范围，并举例说明当未被审查时，Qwen 模型仍能回忆起某些敏感历史事件。