Qwen 3.8 27B 很出色，但默认会过度思考

原文 ↗ Hacker News 讨论 ↗

Qwen 3.8 27B 这款高端开源本地语言模型因接近前沿级的推理能力而受到称赞，但也因默认“过度思考”而遭批评：它会消耗大量内部“思考”tokens，在许多任务上比替代方案慢 5–10 倍。用户将它与更简洁的 Muse Glimmer 和 Gemma 4 等模型比较，讨论模型规模与测试时计算之间的权衡，并指出 token 效率会直接影响智能体的延迟和运行成本。许多人表示，在降低或关闭推理、添加思考预算或 LoRA、或切换模板后效果不错——这既说明当前本地模型已经非常强大，也说明它们的实用性在很大程度上取决于 harness 和配置选择。

模型质量 vs. 过度思考

  • Qwen 3.8 27B 被广泛称赞为相较 3.6 的一次重大飞跃，而且作为本地稠密模型表现异常强劲，有些用户基准测试后认为它在推理和编码上接近近期前沿模型。
  • 主要抱怨：默认的“xhigh”推理模式会生成巨量思考轨迹（通常 10–30k+ tokens），使其比其他方案慢 5–10 倍，并且在交互式工作中 token 效率很低。
  • 过度思考常表现为钻牛角尖、过度分析边缘情况，以及过度工程化的解决方案（例如对简单提示词生成华丽的 SVG/HTML）。

推理模式、模板与缓解措施

  • 用户报告以下做法能显著改善：
    • 关闭推理，或使用“low”/“medium”而不是“xhigh”。
    • 在 llama.cpp 中施加硬性推理预算（--thinking-budget、--thinking-message），或使用自定义代理在 N 个 tokens 后截断思考，并告诉模型继续执行。
  • 一些 harness/template 默认使用 xhigh；另一些社区“fixed”模板则设为“medium”，并提供下拉菜单来调整推理力度。
  • 像 “ThinkingCap” 这样的 LoRA 正在测试中，目标是在尽量保持质量的同时将思考 tokens 减少约 40–50%，早期结果混合但有前景。

与其他模型的比较

  • Muse Glimmer 30B：思路更简洁、“thoughts” 更少，token 用量更低，实际使用中更快，尽管原始 tok/s 更慢；有些人认为它不如 Qwen 3.6/3.8 能力强。
  • Gemma 4 12B 被提为一款出色的小模型（速度快、多模态、token 效率高），不过据称在某些工具链里因模板和设置配置不当而受影响。
  • 几位用户指出，当前许多开源和专有模型由于训练激励和基准优化而“过度思考”。

硬件、性能，以及本地 vs 云端

  • Qwen 3.8 27B 可运行在高端消费级 GPU 和 Apple Silicon 上，但速度和上下文大小严重受内存带宽与 VRAM 约束。
  • 用户分享了实际数字：在中等上下文下，普通 GPU 或 M 系列 Mac 约为 ~20–50 tok/s；长上下文和重度推理会把生成速度拉低到约 ~1 tok/s。
  • 对某些人来说，算上电费和硬件成本，云端模型（例如 Luna/Terra/Sol、GPT-5.x）更便宜也更快；而另一些人则认为本地更适合隐私、agent 工作流和长时间运行的任务。

关于“思考”的更广泛看法

  • 许多人喜欢可见推理，因为它有助于调试、安全性和更深入的规划；另一些人则觉得这种过程在认知上很耗费精力，更偏好隐藏或最小化思考。
  • 讨论的焦点还包括：chain-of-thought tokens 是否反映真实的内部推理，还是一种“喃喃自语”式的底层机制，以及未来模型是否应更多转向潜空间推理。