DeepSeek 开源推理框架 DeepInfer：单集群日吞 155 万亿 Token，缓存一留就是 7 天

凌晨的推理集群里，最贵的不是电，而是等待。一张 GPU 闲着，损失看得见；一批请求因为排队多等了几百毫秒，损失看不见。DeepSeek 在 10 月 20 日开源的 DeepInfer，想同时解决这两种浪费。

一分钟速览

• DeepSeek 开源大规模云推理框架 DeepInfer，以及配套的 Token 编解码组件 deepseek-recipe。
• 这套系统已用于 DeepSeek V4.1 Flash 的线上服务，单集群日吞吐达到 155 万亿 Token。
• 按谷价计算，整体收入达到每卡每小时 38 美元。
• 框架同时支持英伟达和华为昇腾，Prefill 跑在普通 8 卡服务器，Decode 跑在 64 到 128 卡超节点。
• KVCache 可以保留 72 小时以上，减少重复计算；但与内部基础设施耦合较深的管理和负载均衡组件，暂未完整开源。

把 Prefill 和 Decode 当成两种生意

大模型推理大致分两段：Prefill 负责读入整段上下文，计算密集、并行度高；Decode 负责一个 token 一个 token 地往外吐，访存密集、对延迟敏感。过去很多系统把两段混在同一批机器上跑，结果是资源配比被写死，流量结构一变，就出现一半机器排队、另一半机器空转。

DeepInfer 的做法是把两者彻底拆开。Prefill 使用常见的 8 卡服务器，MoE 部分通常采用 2 到 8 路专家并行加数据并行；Decode 则扩展到 64 到 128 路 Wide-EP，用更大的批处理规模把 GPU 的矩阵计算吃满。视觉编码器也被单独拆出，三个阶段各自分配资源，分别优化首 Token 延迟和 Token 间延迟。

拆开之后，新的问题是比例怎么定。DeepSeek 在集群层加入自动扩缩容：Prefill 侧看未命中的 Token 数决定实例数量，Decode 侧按当前实际计算请求估算需求，扩缩容设有上下界和速率限制。Decode 实例收到下线通知后不会立刻退出，而是进入 1 分钟宽限期；宽限期内没跑完的请求，会连同 KVCache 一起转给其他实例继续算。

155 万亿 Token 背后的账

155 万亿 Token 是一天的量，折合每秒约 1.8 亿个 Token。这个数字之所以值得注意，不只是因为大，而是因为它对应着可计算的单位经济：每卡每小时 38 美元。对推理服务商来说，这相当于把「一张卡能挣多少钱」摆到了台面上。

DeepSeek 还披露了一组工程细节：在线实例数量始终比理论需求多一些，一部分机器处于 Ready 但暂未分配的状态，用作突发扩容库存；当配额占用率高于 0.8 时，系统直接禁止缩容。容错没有追求把重启时间压到极短，实际错误重启仍是分钟级，靠的是冗余配额加请求级重新路由。大规模 EP 部署下，一个实例里任何一张卡故障都可能让整个实例停摆，重启时会重新统计健康 GPU 数量，按实际卡数重新确定 EP Size。

负载均衡也被拆成四个：Prefill、Decode、视觉编码器、专家并行各有一个。原因很直接：这四类负载的最优调度目标并不一样，用一个通用负载均衡器，最后往往是谁都不满意。

开源的是一套方法，不只是一份代码

deepseek-recipe 的价值同样被低估。它负责在主流大模型 API 协议和模型 Token 之间做转换，处理逻辑与官方 API 完整对齐。对第三方部署者来说，这意味着自建服务可以更接近官方体验，而不是「模型一样、行为不一样」。

但 DeepSeek 也划了边界：KVCache 管理和负载均衡没有完整开源。这并不难理解，这两块与内部基础设施、流量结构、机器形态高度耦合，直接放出来未必能复用，反而容易制造「看起来能跑、实际跑不好」的幻觉。开源推理框架，卖的是方法；留住的是别人抄不走的运营经验。

趋势洞察

过去两年，大模型竞争的主线是参数、榜单和上下文长度；接下来，主线正在转向「单位 Token 成本」。当模型能力差距缩小，谁能用更少的卡、更低的电、更稳的延迟服务同样多的请求，谁就能把价格战打下去。

这也是开源策略的高明之处：把推理系统开源，等于把行业标准往自己的架构上拉。第三方部署得越多，围绕这套系统的工具链、运维经验和人才就越多，DeepSeek 在云厂商面前的议价权也越强。模型开源争夺的是开发者，推理框架开源争夺的是基础设施。

对普通用户来说，这些变化最终会变成更便宜的 API、更快的首字响应和更长的上下文记忆。对行业来说，一个更现实的信号是：推理优化已经从「实验室技巧」变成「可复制的工程体系」，而这套体系，正在被主动交到更多人手里。