摩尔线程GPU千卡集群完成30亿参数大模型实训

近日，摩尔线程与无问芯穹携手宣布，双方已成功完成基于国产全功能 GPU 千卡集群的 3B 规模大型模型“MT-infini-3B”的实训。此次实训以摩尔线程国产全功能 GPU MTT S4000 构建的千卡集群为基础，并结合无问芯穹的 AIStudio PaaS 平台共同实现。

本次实训不仅充分验证了夸娥千卡智算集群在大模型训练场景下的卓越可靠性，还标志着国产大语言模型与国产 GPU 千卡智算集群深度合作的崭新篇章在行业内正式开启。

MT-infini-3B 模型的训练过程历时 13.2 天，全程稳定无中断，集群训练稳定性高达 100%，千卡训练与单机相比，扩展效率超过 90%。这一成果无疑进一步巩固了夸娥千卡智算集群在大模型训练领域的可靠性，并为国产大语言模型与国产 GPU 千卡智算集群的合作树立了新的标杆。

目前，经过实训的 MT-infini-3B 模型在性能上已位居同规模模型前列。相较于在国际主流硬件上训练的其他模型，MT-infini-3B 在 C-Eval、MMLU、CMMLU 等多个测试集上均展现出卓越的性能优势。

无问芯穹的联合创始人兼 CEO 夏立雪表示：“无问芯穹致力于构建 M 种模型和 N 种芯片间的 M×N 中间层产品，以实现大模型算法在多元芯片上的高效、统一部署。摩尔线程作为首家接入无问芯穹并进行千卡级别大模型训练的国产 GPU 公司，此次 MT-infini-3B 的训练成功，标志着行业内首次实现了基于国产 GPU 芯片从 0 到 1 的端到端大模型实训案例。”