蚂蚁基础大模型已具备万卡AI集群

在上海举办的外滩大会上，蚂蚁集团正式发布了金融大模型，并开源生成式AI编程平台CodeFuse。蚂蚁集团首席技术官、平台技术事业群总裁何征宇在接受采访时介绍，蚂蚁大模型走纯自研的技术路线，以全栈布局、长线发展为原则，以创造产业价值为目标。为此，蚂蚁坚决投入大模型底层基础设施，目前已建成万卡AI集群，训练效率领先行业，为大模型产业化应用提供有力支撑。今天发布的蚂蚁金融大模型基于蚂蚁基础大模型，针对金融产业深度定制。何征宇介绍，蚂蚁基础大模型平台具备万卡异构集群，其中千卡规模训练MFU可达到40%，集群有效训练时长占比90%以上，RLHF训练在同等模型效果下训练吞吐性能相较于业界方案提升3.59倍，推理性能相较于业界方案提升约2倍，处于业界先进水平。