DeepSeek 开源推理框架 DeepInfer：单集群日吞 155 万亿 Token，缓存一留就是 7 天
凌晨的推理集群里，最贵的不是电，而是等待。一张 GPU 闲着，损失看得见；一批请求因为排队多等了几百毫秒，损失看不见。DeepSeek 在 10 月 20 日开源的 DeepInfer，想同时解决这两种浪费。 一分钟速览…
主题标签
deepinfer
关于该主题的全部内容，按发布时间持续更新。
1
篇内容