摩尔线程开源 Megatron-MUSA-Titan：给万卡集群训练万亿参数模型的一套底座

国产 GPU 厂商摩尔线程今天开源了一个大模型训练基础设施项目，名字叫 Megatron-MUSA-Titan。它面向的不是单机跑小模型，而是万卡级集群上的万亿参数 MoE 模型训练，覆盖预训练和强化学习两大场景。

说白了，这不是又一张显卡，而是一套「怎么把上万张卡组织起来、让它们不浪费算力地干活」的工程方案。

一分钟速览

• 项目基于摩尔线程全功能 GPU 和 MUSA 软件栈，已在万卡级集群上长期使用。
• 同时覆盖万亿参数 MoE 模型的预训练与强化学习。
• 支持 blockwise FP8 训练，把低精度计算能力引入训练流程。
• 可结合 DeepEP 与 ACE 异步通信引擎，让数据传输和计算重叠进行。

万卡训练难在哪

MoE 是混合专家模型的简称。它不像传统模型那样每个词都调用全部参数，而是先由路由决定「这道题该找哪几位专家」，只激活其中一部分。好处是参数总量可以做得很大，实际计算量却不至于等比例暴涨。

坏处也在这里：专家分散在不同的卡上，一个词要分发到几位专家手里，算完再把结果收回来。通信量因此非常大，网络稍慢，卡就只能干等。集群规模越大，这种等待越贵。万卡级训练真正拼的，是让计算和通信尽量不互相堵住。

这次开源了什么

Megatron-MUSA-Titan 提供的是面向 MUSA 平台的训练适配与系统优化能力。按官方说法，它已在自家万卡级集群的万亿参数 MoE 预训练中持续应用，经过长时间训练检验，实现了较高的 MFU，也就是模型算力利用率，并能保持长时间稳定训练。

在技术细节上，项目支持 blockwise FP8 训练，把 GPU 的低精度计算能力用进训练流程，以更少的开销换取更高的吞吐；同时可以结合 DeepEP 与 ACE 异步通信引擎，加速 MoE 里的 Token 分发与结果合并，让专家并行和计算尽量重叠，数据在传的时候，计算也没闲着。

强化学习这一侧，项目支持与 slime、miles 等框架协同：用 Megatron 负责训练，用 SGLang 生成样本，把预训练和强化学习串成一条完整的训练链路。

为什么值得关注

过去谈国产算力，焦点多在单卡性能和能不能跑起来。但真实的大模型训练是一套系统工程：框架、通信库、精度策略、故障恢复，缺一环都会拖慢整机效率。愿意把训练底座开源，意味着这套东西不只服务自家，也要接受外部开发者的检验。

对整个生态来说，多一条能跑万亿参数 MoE 的技术路线，就多一个选择。尤其是当训练框架与硬件深度绑定之后，迁移成本会变成真正的护城河，而开源是降低这道门槛最直接的方式。

趋势洞察

大模型竞争正在从「谁的模型更强」转向「谁能更便宜、更稳定地把模型训出来」。在这个阶段，训练基础设施的价值被严重低估：它不产生发布会上的掌声，却决定了每一块钱算力能换回多少有效训练。

开源只是起点。项目能不能吸引到足够的开发者、能不能在真实业务负载下持续迭代，才是它能不能活下来的关键。对国产算力来说，这比一次跑分更有意义。