摩尔线程开源 Megatron-MUSA-Titan，聚焦万卡级集群的万亿参数 MoE 模型训练

摩尔线程开源大模型训练基础设施项目 Megatron-MUSA-Titan，聚焦万卡级集群的万亿参数 MoE 模型训练，覆盖预训练与强化学习场景。该项目支持 blockwise FP8 训练，结合 DeepEP 与 ACE 异步通信引擎加速 MoE 中的 Token 分发与结果合并，实现专家并行与计算的通算重叠。