问 HN：有没有人把 Claude/GPT 换成本地模型，用于日常编程？

Hacker News 讨论 ↗

总体感受

  • 真正把 Claude/GPT 完全替换成本地模型来做日常编程的人非常少。
  • 许多人采用混合方案：本地开源权重模型处理大部分工作，前沿模型（Claude/GPT/DeepSeek/Kimi/GLM）用于规划、疑难 bug 或审查。
  • 共识是：本地模型“已经不错，而且还在变好”，但在可靠性、推理能力以及大型代码仓库工作方面，通常仍落后于顶级云端模型。

硬件与性能

  • 有用的配置通常包括：
    • 高显存 GPU（RTX 3090/4090/6000、4×5070、Radeon 7900XTX/R9700）。
    • 高内存 Apple 芯片（M4/M5/Mac Studio 64–512 GB）或 Strix Halo 128 GB。
  • 典型性能报告：
    • 在约 30–35B 模型上，解码速度约 ~40–150 tok/s，预填充约 400–4000 tok/s，取决于 MTP、量化和并发。
  • 电费不容忽视，但通常比硬件 CAPEX 便宜得多；一些粗略 TCO 估算显示，对许多用户来说云端 API 仍更便宜。

模型选择与感知质量

  • 最受好评的本地编程模型：
    • Qwen 3.6 27B dense（常用 Q4–Q6 量化）。常被类比为介于 Haiku 和旧版 Sonnet 之间。
    • Qwen 3.6 35B A3B（MoE），主打速度；在编程上通常比 27B dense 稍差。
    • Gemma 4（26–31B，包括 QAT 版本）是很强的通用模型，但在工具使用上有时弱于 Qwen。
    • DeepSeek V4 Flash / ds4 在高端 Apple 或 GPU 机器上适合推理型工作。
  • 大型 MoE 开源模型（Qwen 3.5 122B-A10B、Nemotron、MiniMax）可能很强，但需要大量内存且更慢；有些人认为它们不如调校良好的 27B–35B dense 模型。

Harness、工具与工作流

  • 人们认为 harness 质量至少和模型同等重要：
    • 常见选择：pi.dev、Claude Code（指向本地端点）、OpenCode、Crush、Aider、自定义 CLI、VS Code/Copilot 连接到本地 llama.cpp 服务器。
  • 有效模式：
    • 带严格工具、子代理或多步骤计划的 agentic 工作流。
    • 由前沿模型写 spec/plan；本地模型实现。
    • 多个本地代理分工明确（规划、schema、代码、测试、审查）。

局限与痛点

  • 常见问题：
    • 循环、过度思考，以及损坏的工具/编辑调用，尤其在激进量化或采样设置不佳时。
    • 上下文限制和缓存怪异；即使名义上下文窗口很大，长上下文下质量仍会下降。
    • 笔记本上的速度慢和风扇噪音；复杂仓库相较云端感觉“永远做不完”。
    • 配置复杂：驱动、量化选择、KV cache 设置、批处理、harness 配置。
  • 很多人表示，本地模型感觉像一个有能力但资历较浅的开发者；前沿模型更像强中级/高级开发者，尤其在架构和棘手 bug 上。

隐私、成本与策略

  • 选择本地的原因：
    • 数据隐私/合规、避免锁定、担心未来涨价或监管、享受折腾的乐趣。
    • 对个人项目、脚本、胶水代码、文档任务来说“够用”。
  • 不选择本地的原因：
    • 硬件成本相较于被大幅补贴的 $20–$100/月前沿订阅并不划算。
    • 云端模型（尤其 DeepSeek/Kimi/GLM）每 token 成本极低，而且明显更强。
  • 新兴模式：分层方案——先本地，再便宜的开源权重 API，最后只有在真正需要时才用前沿模型。