首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

每日论文速递 | Meta提出Branch-Train-Mix 混合专家大模型训练方法

摘要:我们研究了训练大语言模型(LLM)的高效方法,使其具备多个专业领域的能力,如coding、数学推理和世界知识。我们的方法被命名为 "分支-训练-混合Branch-Train-MiX (BTX)(BTX)",它以种子模型为起点,以并行方式对专家进行分支训练,同时提高吞吐量并降低通信成本。在对单个专家进行异步训练后,BTX 将其前馈参数汇集为专家混合(MoE)层中的专家,并对剩余参数求平均值,然后通过 MoE-finetuning 阶段学习token级路由。BTX 概括了两种特殊情况,一种是分支-训练-合并方法(该方法没有学习路由的 MoE 微调阶段),另一种是稀疏上循环方法(该方法省略了异步训练专家的阶段)。与其他方法相比,BTX 实现了最佳的精度-效率权衡。

01
领券