国产全功能GPU MTT S4000千卡集群已完成大规模大模型实训

【太平洋科技资讯】摩尔线程与无问芯穹联合宣布，双方已经成功完成基于MT-infini-3B 3B(30亿参数)规模大模型的实训。实训过程中，使用了摩尔线程国产全功能GPU MTT S4000组成的千卡集群，以及无问芯穹的AIStudio PaaS平台。

这次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性，标志着国内大语言模型与国产GPU千卡智算集群深度合作的新范式的诞生。实训过程中，集群训练稳定性达到100%，相比单机相比扩展效率超过90%，用时仅13.2天，全程稳定无中断。

实训出来的MT-infini-3B性能在同规模模型中跻身前列，相比在国际主流硬件上(尤其是NVIDIA)训练而成的其他模型，在C-Eval、MMLU、CMMLU等3个测试集上均实现性能领先。这一成果无疑证明了国产GPU在大型模型训练中的实力和潜力。

无问芯穹正在打造“M种模型”和“N种芯片”之间的“M x N”中间层产品，实现多种大模型算法在多元芯片上的高效、统一部署。此次与摩尔线程的合作，标志着该公司正在积极拓展其业务领域，寻求更多的合作机会和竞争优势。

摩尔线程作为第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司，其夸娥千卡集群已与无穹Infini-AI顺利完成系统级融合适配，并成功完成了LLama2 700亿参数大模型的训练测试。这一成果是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例，具有里程碑式的意义。

近期，基于摩尔线程的夸娥千卡集群，憨猴集团成功完成了7B、34B、70B不同参数量级的大模型分布式训练，双方还达成了战略合作。这一合作进一步巩固了摩尔线程在国产GPU领域的领先地位，也为大模型训练领域提供了更多的选择和可能。兼容适配程度高、训练效率达到预期、精度符合要求，这些都在此次实训中得到了充分的验证。这不仅证明了摩尔线程的技术实力和合作成果，也为未来更多的合作打下了坚实的基础。