微软 Maia 300 冲向数吉瓦：一台机柜 27.6TB 显存，但「每瓦 Token」被工程师骂了

一台机柜，96 颗加速器，27.6TB 的 HBM 容量，1.7PB/s 的聚合带宽，整柜功耗 167 千瓦。这是微软为 Maia 300 给出的机架级规格。

比规格更有信息量的是发布口径：微软宣布从 2027 年起把 Azure Maia 系列扩大到「数吉瓦级」推理部署，Maia 200 已经在为 Copilot 和 MAI 团队供算力，年底前 GitHub Copilot 和 Microsoft Foundry 也会接进来，目前已部署在美国、欧洲和澳大利亚。而 Maia 300 的两篇公告里，都没有提到训练。

一分钟速览

• Maia 200 实测每瓦可处理 Token 数最高为领先 GPU 基础设施的 1.7 倍。
• Maia 300 面向长上下文、内存密集型、解码负载重的推理场景，不具备训练能力。
• 单颗 Maia 300：288GB HBM4、18TB/s 带宽、950W TDP；96 颗组成一柜，总功耗 167kW。
• 计算 chiplet 采用台积电 N2P 工艺，计算 FLOPs 提升 36%，内存带宽为 Maia 200 的 2.5 倍。
• 自研以太网 AI 传输机制，最多 128 个机柜互连成 12,288 颗加速器的 Superpod。
• 官方称每兆瓦处理 Token 数比领先 GPU 系统高 40%，机架级吞吐最高可达对比系统的 7 倍。

为什么只做推理

「不支持训练」这句话，在自研芯片的语境里不是短板，而是设计选择。

训练和推理对硬件的要求几乎相反。训练要的是极致算力密度、大规模同步通信、对显存容量和带宽的极致追求，容错靠 checkpoint 和重启；推理要的是单位成本下的吞吐、低延迟、稳定的长时运行，以及对超长上下文的显存驻留能力。用一颗芯片同时讨好两边，结果是两边都不够好。

微软的选择是把训练留给 GPU 生态，把推理这块最确定、最可预测、也最花钱的负载拿回自己手里。Copilot、Teams、Foundry 这些产品的推理需求是内生且可预测的——不需要去市场上抢客户，只要把自己的账算平。

内存才是这一代的主题

Maia 300 的参数表里，显存部分最激进：每颗 288GB HBM4、18TB/s 带宽，八组 HBM4 堆栈；一柜 96 颗，合计 27.6TB 容量与 1.7PB/s 带宽。

这个配置直指一个问题：Agent 类负载的瓶颈已经从算力转向内存。多步任务的每一步都要携带不断增长的工作记忆，上下文越长，KV 状态越大，显存带宽就越吃紧。业内的质疑正是从这里来的——有从业者指出，真正的瓶颈是内存而不是计算能力，而发布材料最受关注的规格参数，恰恰也是内存规格。

微软在架构上也做了对应的调整。Maia 300 不再采用统一的内存访问布局，而是让多个 chiplet 采用 NUMA 架构，软件可以把数据放在离计算单元更近的位置。计算 chiplet 用台积电 N2P，内存控制器与 I/O 放在独立芯片上，官方称这让计算 FLOPs 提升 36%，内存带宽达到 Maia 200 的 2.5 倍，每瓦 HBM 带宽约为后者的两倍。

网络：把纵向和横向合成一张网

这套系统里最能体现取舍的是网络。微软把 Maia 的 AI 网络控制器做成一套基于以太网的定制传输机制，描述为「一个统一的网络 Fabric，而不是彼此分离的纵向扩展和横向扩展网络域」。加速器可以直接向 Superpod 内任意对等节点发起通信，不需要经过主机，也不需要独立的横向扩展网卡。

连接方式分三层：同一托盘内两颗加速器直连；机架内交换式 Fabric 连接全部 96 颗；第二级光交换机最多互连 128 个机架，组成 12,288 颗加速器的 Superpod。微软把延迟划成三个域：两卡直连、Pod 内一跳、跨 Pod 三跳。

机架内与跨机架的带宽配比不在设计阶段固定，而由作业的打包与放置方式决定。当只有部分通信需要跨机架时，单颗加速器仍可向任意对等节点提供最高 750GB/s。

这套网络还支撑了一种特定的推理执行模式：Prefill 与 Decode 工作节点分别确定规模、独立部署；Prefill 完成后，KV 状态通过同一张纵向扩展 Fabric 直接传给指定的 Decode 节点，而不是经主机中转离开当前网络域。跨机架的故障补偿也走这张网——一个托盘坏掉，另一个机架的备用托盘接替，对软件内核透明。

被骂的那个指标

真正引发讨论的不是 40% 这个数字，而是指标的计量方式。

微软的核心数据是：Maia 300 每兆瓦处理的 Token 数比领先 GPU 系统高 40%，机架级 Token 吞吐最高可达对比系统的 7 倍，每瓦性能超过 Maia 200 的 2.5 倍。

质疑集中在「每瓦 Token 数」上。有评论直言这是个荒谬的指标——Token 并没有统一定义，Token 数量与计算量之间也不存在普适关联，而且这种指标天生奖励冗长的输出。有人从量纲角度追问：难道不该是每瓦每秒处理的 Token 数，或者每千瓦时处理的 Token 数吗？

更专业的质疑来自一位正在做竞争性推理加速器的创始人：每瓦多处理 40% 的 Token，测试时的上下文长度是多少？持续运行的多步骤 Agent 任务涉及很长上下文，每个 Agent 的工作记忆随执行步骤增长，这种情况下真正的瓶颈是内存而不是算力。

这些质疑没有否定芯片本身，但指出了一个行业普遍问题：当自研芯片的卖点从「峰值算力」转向「单位成本效率」，评测口径就成了竞争的一部分。没有公开的工作负载描述、上下文长度、并发配置和输出长度分布，效率数字就无法被复现，也无法被比较。

数吉瓦意味着什么

「数吉瓦级」是一个物理量。一吉瓦的持续功率，大致相当于一座大型核电机组的输出。把这个量级的电力锁进推理集群，意味着微软判断未来几年 AI 推理需求会以电力为单位增长，而不是以卡为单位。

这也是它必须自研芯片的原因：当采购规模达到这个量级，每一代芯片 20% 到 40% 的效率差，折成电费和资本开支都是数十亿美元级别的数字。Maia 300 的规格表，本质上是一份成本结构的声明。

至于它能不能兑现，2027 年量产之后的真实工作负载会给出答案。