上下文拉到 256K，KV Cache 只剩 72MiB：开源模型 EdgeRock-4B 把长推理的内存账算死了

一个智能体连续跑几十轮工具调用，搜索结果、代码片段、调用记录不断往上下文里塞。模型越干越起劲，显存先扛不住了——这是今年做长任务 Agent 的团队最熟悉的一幕。

问题的核心叫 KV Cache。大多数模型把推理历史存在这里，每生成一个 token 就多存一份。上下文越长，缓存越大，一张卡能同时服务的请求就越少。10 月 26 日，岩山科技旗下岩芯矩阵联合香港科技大学、卡内基梅隆大学等机构开源了 EdgeRock-4B，给出的答案很直接：让缓存不再随上下文增长。

一分钟速览

• EdgeRock-4B 在 256K 上下文下，KV Cache 固定在 72MiB，相比源模型减少 99.1%。
• 单张 80GB 显卡同时跑 512 路 32K 输入、32K 输出的长推理，输出吞吐 12124 tokens/s，是源模型的 6.42 倍。
• AIME 2024—2026 平均一次通过率 82.9%；作为对比，参评的有界状态模型即使做到 14B，最好也只有 18.8%。
• 128K 输入后再生成 128K token，单请求速度稳定在 233.7 tokens/s，不随上下文变长而衰减。
• 模型权重与推理代码均已开源，支持文本和图像推理。

长推理的账单，为什么越算越贵

以 Qwen3.5-4B 为例，每个 token 要新增 32KiB 的 KV Cache。推理到 64K，一条序列就是 2GiB；到 256K，就是 8GiB。单张 80GB 显卡看着不小，扣掉模型权重和运行时开销，并发几十条就会被占满。

行业里原本有两条路。第一条是给每个 token“瘦身”：多头潜在注意力压缩 KV，KIVI 这类量化方法降低精度，谷歌的 TurboQuant 也属于这一路。它们确实降低了单个 token 的成本，但缓存总量仍然随推理长度线性增长。第二条是有界状态模型：循环模型、状态空间模型、滑动窗口模型，内存天生固定，可代价是留不住后续推理需要的远处细节，能力打折。

EdgeRock 想回答的是中间那个问题：能不能在固定内存里，把关键细节留住。

把“随长度增长”改成“固定预算”

测试设定是 32K 输入、32K 输出，所有模型都在单张 Hopper 80GB 显卡上跑，各自取实测最快的批大小。EdgeRock-4B 开到 512 路并发，输出吞吐 12124 tokens/s；源模型 Qwen3.5-4B 最快的配置是批大小 64，只有 1889 tokens/s；Gemma 4 E4B、MiniCPM5-2B、LFM2.5-2.6B 都在 1700 到 2200 tokens/s 之间。

差距来自内存账。Qwen3.5-4B 跑完这 512 条序列，仅生成结束时的 KV Cache 就要 1TiB，约等于 13 张 80GB 显卡的显存；EdgeRock 用一张卡装下了全部请求，峰值 61.26GiB，还包含模型权重。

更值得注意的是趋势。4K 输入时，EdgeRock 只需要源模型 24.9% 的 GPU 时间；32K 输入时只需要 15.6%。四种输入长度平均下来，吞吐是 Qwen3.5-4B 的 4.94 倍，是 LFM2.5-2.6B 的 7.18 倍。上下文越长，差距越大，因为一边在涨，一边不涨。

单条请求也没有牺牲。KV Cache 随推理增长的模型有个通病：越写越慢，因为每生成一个新 token 都要回看越积越多的历史。EdgeRock 每个 token 的计算量不随上下文增长，128K 输入后再生成 128K token，速度从头到尾稳在 233.7 tokens/s；Qwen3.5-4B 则从 169 左右一路降到 151.3。

“固定内存”带来的确定性

省内存只是表面收益。固定预算意味着每条请求要多少内存，推理开始前就能算清楚：服务端可以按请求数规划容量，不必猜每条请求最终会跑多久；端侧设备一次分配到位，推理再长也不会把内存耗尽；智能体的历史内存不再随工具调用次数膨胀；专用芯片甚至可以把全部历史状态放进片上存储。

对推理服务商，这直接改变商业模型。长上下文按 token 计费时，成本的大头是 GPU 时间；当 32K 输入的 GPU 时间只剩 15.6%，同样的卡能卖出更多 token，或者把价格打下来。对端侧，意义更大——手机、车机、机器人本来就没有多少内存余量，能和感知、控制模块抢资源的空间非常有限。

需要冷静看的几点

第一，这是一个 4B 小模型。AIME 82.9% 的成绩在同类里很突出，但小模型的能力上限仍然存在，复杂任务上的稳定性需要更多第三方复现。第二，“固定内存”不等于“无损”，它一定做了取舍，关键在于取舍是否落在长尾细节上；官方给出的行为保持数据，还需要真实业务负载来验证。第三，开源权重和推理代码降低了试用门槛，但工程落地还要看推理框架、算子支持和量化方案是否跟得上。

尽管如此，这个方向值得重视。过去两年，长上下文的竞争主要在“能塞多长”；EdgeRock 把问题换成了“塞到多长，成本都不变”。当 Agent 从演示走向生产，后一个问题才是决定单位经济模型的那一个。