本地运行模型现在已经不错了

原文 ↗ Hacker News 讨论 ↗

硬件与可负担性

  • 许多评论者表示，“本地不错了”只适用于你拥有相当强的硬件：24–32 GB VRAM 的 GPU、64–128 GB RAM 的 Mac，或者 Strix Halo / DGX Spark 级别的机器。
  • 也有人提出反驳：一台 2–3k 美元的机器对世界上很大一部分人来说仍然负担不起；对许多开发者而言，每月 20–200 美元的托管模型更便宜也更简单。
  • 关于笔记本电脑（尤其是散热受限的机型）是否适合使用，还是台式机/工作站或小型本地服务器更合适，也存在争论。

当前本地模型的能力

  • Qwen 3.6 27B（dense）和 35B MoE、Gemma 4（26B MoE、31B dense）、GLM 5.x、GPT‑OSS、Granite 4.1 等被认为“非常能打”，在许多任务上大致可与 2025 年中期的前沿水平相当。
  • 用户报告在消费级 GPU（如 3090/4090/5090）和高内存 Mac 上可达到 30–150+ tokens/s，尤其是在使用 MTP/speculative decoding 和良好量化时。
  • 扩散式 LLM（例如 DiffusionGemma）因单提示速度而让一些人印象深刻，但该线程中的研究者认为，它们大概率无法规模化，也难以在质量上匹配 dense transformer。

编程与 agent 工作流

  • 体验分化很大：有人说 Qwen 3.6 27B/35B 已经“足够日常使用”来写代码；也有人认为它们在非玩具级代码库上远不如 Claude/GPT。
  • 本地模型常常在以下方面表现吃力：
    • 可靠的工具调用和 JSON 输出。
    • 大上下文工作流（数十万 token）。
    • 自主、长周期的“vibe-coding”；它们容易卡住、循环，或犯微妙的设计错误。
  • 许多人通过以下方式取得成功：
    • 用前沿模型做规划，用本地模型执行较小任务。
    • 让提示极其具体，并把任务范围严格限定。
    • 把它们当作“聪明的自动补全 / 初级开发者”，而不是自主架构师。

Harness、提示词与配置

  • 反复出现的主题是：harness 和模型本身同样重要。Pi、OpenCode、Hermes、自定义 CLI，以及经过精细调校的 system prompt/AGENTS.md，都会显著改变结果。
  • 量化具有争议：4-bit 可能会把模型在工具使用上“阉割”掉；一些人主张在可行时使用 5–6 bit 或 Q8，尤其是 MoE。
  • 许多人提醒，本地部署往往需要在标志位、量化方案、上下文长度和模板上大量折腾；应据此调整预期。

云端 vs 本地的经济性与控制权

  • 支持本地的论点：
    • 没有速率限制、临时反悔式“跑路”、静默“削弱”或模型弃用。
    • 更好的隐私和 IP 控制；对受监管或高度谨慎的环境很有用。
    • 鉴于当前 GPU 稀缺，硬件的折旧可能比人们预期得更慢。
  • 支持云端的论点：
    • 前沿模型（Claude/GPT/DeepSeek）在复杂编程和 agentic 工作上仍明显更聪明。
    • 对大多数用户来说，托管推理更便宜也更快，而且没有硬件或维护负担。
    • 企业通常更愿意“把麻烦外包出去”，即使本地部署理论上可能更便宜。

未来展望

  • 许多人预计开源/本地模型会随着更好的架构、量化感知训练和推理技巧继续进步，但也预计前沿厂商在规模上仍会保持领先。
  • 人们对以下方向很感兴趣：
    • 面向团队的本地 GPU 一体机（例如“放在柜子里的 LLM”）。
    • 混合模式：本地处理常规/私密/低延迟工作，云端处理重规划或超大上下文任务。
  • 有人认为这是一个关键时刻：本地模型已经足够好，能够覆盖令人惊讶比例的日常任务，尽管还不能完全取代顶级云模型。