前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【GTC2020】Megatron-LM:使用模型并行性训练数十亿个参数语言模型

【GTC2020】Megatron-LM:使用模型并行性训练数十亿个参数语言模型

作者头像
GPUS Lady
发布2020-04-01 16:42:10
1.6K0
发布2020-04-01 16:42:10
举报
文章被收录于专栏:GPUS开发者

我们将通过对现有PyTorch transformer实现进行少量有针对性的修改来介绍一种高效的模型并行方法。最近,训练最大的神经语言模型已经成为提高NLP应用水平的最佳方法。然而,对于超过十亿个参数的模型,单个GPU没有足够的内存来匹配模型和训练参数,这就需要模型并行性来将参数分割到多个GPU上。我们将通过在512个gpu上使用8路模型并行和64路数据并行训练一个83亿个参数转换器语言模型来展示我们的方法,使其成为迄今为止训练的最大的基于转换器的语言模型。该模型建立了下游任务的最新技术成果。

https://developer.nvidia.com/gtc/2020/video/s21496收看视频(英文)

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-03-31,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 GPUS开发者 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
NLP 服务
NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档