Unsloth Dynamic 3.0 GGUFs

原文 ↗ Hacker News 讨论 ↗

Unsloth 新的 “Dynamic 3.0” GGUF 量化面向 Qwen3.8-27B，目标是在大幅压缩模型体积的同时保留大部分准确率，让大语言模型能够在 16–32GB 的消费级硬件上运行。评论者探讨了极低比特量化（低至 1–2 bit）、速度、上下文长度和编码质量之间的权衡；有人报告结果可用，也有人看到循环或退化输出，尤其是在 Q2 级别。大家强烈希望更好地针对真实任务做基准测试、改进多 GPU 与 Apple MLX 支持，以及更清晰的版本管理，因为用户正在将这些量化方案与 ExLlama 以及云端全精度模型进行权衡。

Dynamic 3.0 变更与 MTP 权衡

  • 极小的 GGUF（<~8 GB，例如 IQ2_XXS 及以下）会去掉 MTP 以节省约 500–750 MB，这对 8–16 GB 系统很重要。
  • 一些用户质疑：面向低资源设备的模型为什么要移除一个提速功能；另一些人则认为，在 Q2 下模型已经退化得很厉害，与其把额外内存花在 MTP 上，不如用在更高比特的量化上。
  • 另有一个单独的 Q4_0 MTP drafter 可供需要者使用，但对 16 GB 机器的建议是使用更高比特的小量化（例如 IQ3_XXS、Q2_K_XL），而不是极端的 Q2。

低比特量化的质量

  • 对 1–2 bit 和 bonsai 量化的实测体验差异很大，从“做轻量编码时出人意料地可用”到“在更严格的私有评测中基本无用”都有；因为小错误会层层累积。
  • 有人建议，不如退回到更小的 9B 级模型，也不要把 27B 硬压到 1–2 bit。
  • 新的 UD 1-bit 量化声称在约 89% 的体积缩减下达到约 72% 的 top-1 准确率，但现实世界中的验证仍然很少。

本地硬件上的性能

  • 16 GB GPU：用户在 Unsloth UD3.0 GGUF 与 ExLlama 4-bit 之间讨论最佳权衡；ExLlama 可以把 embeddings 保存在系统 RAM 中，而且在质量上可能优于更早的 UD2.0 Q4。
  • 多 GPU：会在 2–8 张 GPU 之间做 tensor 和 layer 切分；性能非常依赖 PCIe 通道数和功耗限制。
  • Mac（M1–M4）：27B 的 Qwen 可以运行，但可能很慢（20–40 tok/s）。有些人发现，带 MTP 的 Ollama MLX 构建比 llama.cpp 方案更快。

基准测试、KL divergence 与“doom loop”

  • 有人批评 KL divergence 或类似指标没有捕捉长期行为和误差累积。
  • 另一些人认为错误并不会简单地相乘，因为模型可以在 chain-of-thought 中自我纠正。
  • Unsloth 引入了 “Divergence-300”（在保留任务上做 32/512 token 的推理测试），并计划更广泛的基准，但时间/算力预算似乎很紧。
  • 用户报告称，与 3.6 相比，Qwen3.8-27B 的 “doom loop” 更少、自我纠正更多，但它也可能“绕圈思考”并且很啰嗦。

可用性、格式与工具

  • 由于 Dynamic 3.0 复用了现有文件名，导致出现混淆；校验和显示，一些标称“新”的文件其实并未变化。有人呼吁明确版本号并丰富 GGUF 元数据。
  • 一些人更喜欢通过 Hugging Face CLI 或 git-LFS 管理模型以保留历史；另一些人不喜欢额外工具，仍然坚持用 curl + 校验和。
  • 据说量化本身在消费级硬件上（包括 Mac）速度很快且可行，可通过 llama.cpp 工具或类似压缩器完成。