Jamesob 的本地运行 SOTA LLM 指南

原文 ↗ Hacker News 讨论 ↗

硬件选项与性能

  • 流行的“甜点位”配置：
    • 单张 RTX 3090 / 4090 或同类显卡（约 24 GB VRAM），以 4–6 bit 运行 Qwen 3.6–27B/35B，速度可用。
    • 双 3090（约 48 GB VRAM）因极高的内存带宽和在 Qwen 27B 上不错的吞吐量而受到称赞。
    • 96–128 GB VRAM 机器（RTX 6000、OEM/Spark、Jetson、Arc B70）用于运行多个模型或更大的上下文。
    • Apple M 系列（尤其是 M4/M5 Max 48–128 GB）被视为方便的统一内存机器，但在大模型上明显慢于大型 GPU。
  • 多 GPU 的 4×/8× RTX 6000 级别设备可以运行经过 REAP 剪枝、重度量化的 GLM 5.2 NVFP4，速度可达每秒几十到 100+ token，但需要 $40k–$100k+，且设置复杂。

经济性：本地 vs 云端

  • 许多人认为，大型本地设备在经济上并不理性，相比之下：
    • $200/月 的前沿模型订阅。
    • 低价按 token 计费的提供商（DeepSeek、GLM、MiMo 通过 OpenRouter 等）。
  • 反方观点：在以下情况下，本地很有价值：
    • 存在极端的数据隐私 / 内网部署要求。
    • 你希望 24/7 运行自主代理而没有 token 成本。
    • 你想对未来涨价或服务限制进行对冲。
  • 共识：对大多数个人而言，现在应使用云端；只有在你已经有 GPU、喜欢折腾，或有严格约束时，才值得购买大硬件。

模型质量、量化与上下文

  • 重度量化（Q4、REAP 剪枝的 MOE）被广泛使用，但：
    • 一些人报告，尽管基准测试表现不错，但在长周期编码 / 分析中会出现明显退化。
    • 小型 / 聊天任务通常看起来还好；深度、长上下文工作流会暴露累积错误和循环。
  • 有人声称现代采样策略（DRY、top-n-sigma、min_p、XTC）能大幅缓解长上下文和量化问题；也有人仍持怀疑态度。
  • 目前在本地运行全精度、前沿规模模型被描述为不切实际（需要数百 GB–TB 级 VRAM）。

使用场景与 Harness

  • 本地 LLM 因以下方面受到称赞：隐私、无 token 限制、离线工作，以及用 Qwen/Gemma 规模模型完成“足够好”的编码、调试、研究、摘要和知识库维护。
  • 复杂的多代理 “harness”（Pi、Vibe、Claude Code 风格的设置、自定义编排器）可以从更小的模型中榨取更多能力，但会增加复杂性和安全问题。

语音转文字与辅助模型

  • Whisper 不再被视为 STT SOTA；Parakeet v3 和 Voxstral 被认为更准确 / 更快。
  • 本地 STT + LLM 助手在适度 VRAM 上被认为是实用的。

安全与隔离

  • 强烈建议对代理进行沙箱隔离（VM、microVM、OS 沙箱、SELinux、限制文件系统访问）。
  • GPU 直通 VM 被认为更棘手；有些人更倾向于在主机上运行 LLM，而将代理放在隔离的 guest 中。