上下文拉到 256K，KV Cache 只剩 72MiB：开源模型 EdgeRock-4B 把长推理的内存账算死了
一个智能体连续跑几十轮工具调用，搜索结果、代码片段、调用记录不断往上下文里塞。模型越干越起劲，显存先扛不住了——这是今年做长任务 Agent 的团队最熟悉的一幕。 问题的核心叫 KV Cache。大多数模型把推理历史存在…
主题标签
cache
关于该主题的全部内容，按发布时间持续更新。
1
篇内容