Redis 的创造者；使用 ds4 在本地运行 LLM

原文 ↗ Hacker News 讨论 ↗

一个新的基于 C 的 LLM 推理引擎 ds4（“DwarfStar”）专注于少数大型 MoE 模型，如 DeepSeek V4 Flash 和 Qwen 3.8，并针对高端消费级硬件进行优化，尤其是 96–128 GB 的 Apple Silicon Mac 和 x090 GPU。评论者强调其强默认配置、激进的性能优化、长上下文支持以及 SSD 流式加载，相比 llama.cpp 和 Ollama 这类更通用的运行器更有优势；同时也有人提到 ds4go 等生态工具以及受其启发的小项目。讨论还涉及其浮夸的营销网站、选择 C 而非 Rust 以及大量 AI 生成代码是否合适，以及这种做法是否意味着朝着更强大、完全本地的“接近前沿”模型用于严肃开发工作的更广泛转变。

项目重点与设计理念

  • ds4 是一个小型、原生的推理引擎，专注于少数几个大型 MoE 模型（DeepSeek V4/4.1 Flash、GLM 5.x、Qwen3.8 Flash Next），并针对它们进行深度优化，而不是试图支持一切。
  • 重点放在“接近前沿”的本地模型、长上下文（借助技巧可达约 1M）以及良好的工具/代理支持，而不是广泛的模型覆盖。
  • 该项目被明确定位为面向大型用例的“工作模板”，供他人 fork 并进行专门化定制。

硬件目标与性能

  • 主要面向高端消费级硬件：配备 96–128GB 内存的 Apple Silicon、DGX Spark，以及更新的高端 GPU。
  • 通过 SSD 流式加载，可以容纳极大的模型或在 64GB/96GB 机器上运行，但有人认为对 Qwen3.8 Flash Next 来说，现实中需要 128GB。
  • 用户反馈 M5 Max 128GB 上性能很强（token 输出快、上下文很长），并对即将推出的 M5U 系统表示期待。
  • 另有独立工作：面向 Intel Xe-LP iGPU 的 Gemma-4 MoE 引擎，据称在一台 Intel Ultra 7 笔记本上可达到约 22 tokens/s。

与其他运行器的比较

  • 有些人认为 ds4 是 llama.cpp 的 vibe-coded 克隆；也有人认为它的价值在于经过验证的默认配置和狭窄但高度调优的支持，而不是庞大的配置矩阵。
  • 它与通用工具（llama.cpp、Ollama）形成对比，后者虽然也能达到相近性能，但往往需要大量调优。
  • 讨论还涉及自动化的硬件特定基准测试，认为这比手工配置更好。

生态系统与工具链

  • 某个 fork 将 ds4 以共享库形式暴露出来，并提供 Go 绑定，以及一个 TUI 和若干工具（workspace、scratchpad、OpenAI 风格 API、MCP/工具调用设置）。
  • 另一个项目面向较老的 Intel GPU；评论者希望能有一流的 Intel 支持以及更好的 AMD 支持。也有一些实验性的 ROCm 活动。

语言选择与 AI 辅助开发

  • 核心代码使用 C 编写。给出的原因包括：作者熟悉、简单、高性能，以及当前 LLM 在生成 C 代码方面比 Rust 更好。
  • 也有人认为 Rust 很适合高性能、底层、多线程代码，并且在某些领域能比 C 表现更好。
  • 围绕 Rust 更严格的语义究竟会帮助还是阻碍 AI 辅助工作流展开了争论。

批评、怀疑与 UX

  • 一些人批评营销味很重的落地页是“slop”，更喜欢简洁的 GitHub README。
  • 对作者过往工作的看法不一（例如 Redis 和分布式系统方面的争论），让少数人把这种关联视为警示。
  • 尽管存在批评，许多人仍对 ds4 感到兴奋，认为这表明严肃的工程师正在推动本地推理向前发展。