线程

摩尔线程开源 Megatron-MUSA-Titan：给万卡集群训练万亿参数模型的一套底座

国产 GPU 厂商摩尔线程今天开源了一个大模型训练基础设施项目，名字叫 Megatron-MUSA-Titan。它面向的不是单机跑小模型，而是万卡级集群上的万亿参数 MoE 模型训练，覆盖预训练和强化学习两大场景。 说白…