英伟达下代 Groq LPU 转向 3D 堆叠 DRAM：SRAM 路线走到头了？

AI 推理芯片的竞争，表面上看是算力之争，实际上是内存之争。据韩国媒体 10 月 20 日报道，英伟达下一代的 Groq LPU AI 推理加速器芯片，有望采用基于 TSV（硅通孔）工艺的 3D 堆叠 DRAM 方案，放弃当前这一代以大容量 SRAM 为主的缓存设计。

一分钟速览

• 下代 Groq LPU 拟采用 TSV 3D 堆叠 DRAM，替代当前的大 SRAM 缓存路线
• SRAM 的优势是快，劣势是容量小、制程升级带来的密度收益有限
• 同样走大 SRAM 路线的 Cerebras，已预告 CS-6 将 3D 垂直集成 DRAM
• 信号很明确：推理芯片的瓶颈正在从计算单元转向内存容量与带宽

为什么当年要用 SRAM

大模型推理的解码阶段有一个特点：每生成一个 token，都要把模型权重读一遍。如果内存带宽不够，算力再强也只能干等。SRAM 的访问延迟低、带宽高、可控性强，因此成了不少推理专用芯片的首选——把权重放在离计算单元最近的片上存储里，用速度换效率。

但 SRAM 有两个绕不过去的天花板。第一是容量：单颗芯片能集成的 SRAM 就那么多，模型一大，权重就装不下，只能靠多芯片互联来分摊，系统复杂度和成本随之上升。第二是密度：先进制程对 SRAM 的面积缩减效果远不如逻辑电路，越往先进节点走，用 SRAM 堆容量的性价比越差。换句话说，SRAM 路线在模型规模快速膨胀的几年里，越来越像一条越走越窄的路。

3D 堆叠 DRAM 想解决什么

把 DRAM 通过 TSV 垂直堆叠在逻辑芯片之上，核心目的是在有限面积里塞进更大的容量，同时缩短存储与计算之间的距离。相比外挂 HBM，3D 堆叠在封装层面更进一步，理论上能获得更高的带宽密度和更低的单位比特能耗；相比纯 SRAM 方案，它能在容量上获得数量级的提升。

难点同样明显。堆叠会带来散热问题：计算单元和存储叠在一起，热密度大幅上升，而 DRAM 对温度相当敏感，刷新率会随温度升高而增加，反过来吃掉带宽和功耗预算。良率与成本也是现实约束，TSV 工艺、键合精度、测试复杂度都会推高制造成本。这也是为什么这条路线虽然被讨论多年，真正量产的产品并不多。

对推理成本意味着什么

如果下代 LPU 真的转向 3D 堆叠 DRAM，最直接的变化是单机可承载的模型规模变大、长上下文场景的性价比提升。当前推理服务的一大成本来源，是为了容纳长上下文而增加的显存与互联开销；内存容量上去之后，批处理可以做得更激进，单位 token 成本有下降空间。

另一个影响在架构层面。过去两年，推理芯片的竞争主要围绕「算得快」，接下来会更围绕「装得下、喂得饱」。当模型参数、上下文长度、并发请求同时增长，内存墙会比算力墙更早到来。谁能用更低的功耗和成本提供更大的有效带宽，谁就能在推理市场拿到更好的位置。

趋势洞察：内存成为推理竞争的主战场

从 HBM 的供不应求，到 Cerebras 转向 3D 垂直集成 DRAM，再到这次 Groq LPU 的路线调整，一条主线越来越清晰：AI 硬件的价值正在从计算单元向存储与互联转移。算力可以通过堆核心来补，内存带宽和容量却受制于工艺、封装和供应链，短缺更难缓解。

对国内厂商来说，这既是压力也是机会。压力在于高端 DRAM 与先进封装资源仍然紧张；机会在于，当架构从「拼算力」转向「拼内存效率」，围绕近存计算、存算一体、Chiplet 互联的创新空间会被打开。推理芯片的下一轮竞争，可能不会诞生在跑分榜上，而会诞生在封装厂和内存厂的产线里。