摩尔线程大模型智算加速卡MTT S4000，采用第三代MUSA内核，单卡支持48GB显存和768GB/s的显存带宽。基于摩尔线程自研MTLink1.0技术，MTT S4000可以支持多卡互联，助力千亿大模型的分布式计算加速。同时，MTT S4000提供先进的图形渲染能力、视频编解码能力和超高清8K HDR显示能力，助力AI计算、图形渲染、多媒体等综合应用场景的落地。尤为重要的是，借助摩尔线程自研MUSIFY开发工具，MTT S4000计算卡可以充分利用现有CUDA软件生态，实现CUDA代码零成本迁移到MUSA平台。
分布式并行计算是实现AI大模型训练的关键手段。摩尔线程KUAE支持包括DeepSpeed、Megatron-DeepSpeed、Colossal-AI、FlagScale在内的业界主流分布式框架，并融合了多种并行算法策略，包括数据并行、张量并行、流水线并行和ZeRO，且针对高效通信计算并行和Flash Attention做了额外优化。
目前，摩尔线程支持包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各类主流大模型的训练和微调。基于摩尔线程KUAE千卡集群，70B到130B参数的大模型训练，线性加速比均可达到91%，算力利用率基本保持不变。以2000亿训练数据量为例，智源研究院700亿参数Aquila2可在33天完成训练；1300亿参数规模的模型可在56天完成训练。此外，摩尔线程KUAE千卡集群支持长时间连续稳定运行，支持断点续训，异步Checkpoint少于2分钟。
摩尔线程KUAE千卡计算集群凭借高兼容性、高稳定性、高扩展性和高算力利用率等综合优势，将成为大模型训练坚实可靠的先进基础设施。
