DeepInfer：面向 DeepSeek 模型的高性能推理框架

DeepInfer 发布与其是什么

• DeepSeek 开源了“DeepInfer”，这是一个为其 V4.1 Flash 模型以及 NVIDIA SM100 和华为昇腾 950 NPU 优化的高性能推理框架。
• 它基于 vLLM / SGLang 的思路构建，但加入了 DeepSeek 自己的优化；一些面向生产环境的关键部分（KV cache 系统、完整负载均衡、VE/prefill/decode 解耦）目前尚未包含。
• 几位评论者预计，其技术会被上游合并进常见的开源引擎中，使整个生态受益，包括美国实验室。

推理经济性与盈利能力

• DeepSeek 声称，在非高峰定价下，每张卡每小时约可带来 38 美元收入；据报一个集群每天可处理约 155T token。
• 许多人认为，这表明推理本身就具有很强的盈利能力，而且 GPU 在一年内就能回本，尤其是在高利用率和中国低成本电力的加持下。
• 也有人反驳说，如果不把大规模训练、研发和债务成本算进去，“推理盈利”这一说法就具有误导性；实验室整体的损益表仍可能为负。
• 关于长期利润率的争论：一些人认为必然会走向极度竞争的商品化低利润；另一些人则认为前沿的“奢侈智能”将维持高价。

商品化、护城河与竞争

• 一个强烈观点是，通用 LLM 推理是一种缺乏差异化的商品：提供商众多、买家对价格敏感、切换成本低，而且权重开放。
• 这会威胁美国前沿实验室的万亿美元叙事；它们唯一的护城河可能是品牌、分发渠道、专有数据或监管俘获。
• 反方观点：前沿质量仍然重要；许多企业会为最强模型以及合规、“可信”的提供商支付溢价。

中国 vs 美国、硬件与监管

• DeepSeek 的开放被视为既是一种经济战（压低美国实验室价格），也是一种绕开 GPU 出口管制的方式，即让西方数据中心托管中国的开放权重模型。
• 华为昇腾支持尤为引人注目；一些人认为这既是营销手段，也是在挑战 NVIDIA 的主导地位，尤其考虑到中国低廉的电价和大规模电力建设。
• 美国国土安全部的一项新命令禁止联邦民用系统使用 DeepSeek 产品（以及一些第三方实现），被视为正式脱钩的开端。
• 欧洲方面的语境则较为复杂：一方面担忧美国和中国的双重控制，另一方面又因主权与 GDPR 理由，对自托管、开放权重模型抱有强烈兴趣。

技术要点与实际影响

• DeepSeek 的 KV cache 策略（保留时间 ≥72 小时、每 token 占用极小）被视为一项重大的效率提升；但其实际实现尚未完全开源。
• 许多人预计，较小的推理提供商会采用 DeepInfer，以缩小与 DeepSeek 自家 API 的性能差距，从而推动 token 价格进一步下降。
• 尽管 DeepSeek 的按 token 计费 API 单价很低，但一些开发者仍更偏好大型实验室的订阅模式（固定月费、质量更强）。