前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Facebook AI推出新模型RoBERTa,改进BERT的预训练方法

Facebook AI推出新模型RoBERTa,改进BERT的预训练方法

作者头像
AiTechYun
发布2019-08-01 15:14:27
9440
发布2019-08-01 15:14:27
举报
文章被收录于专栏:ATYUN订阅号

编译 | Aaron

发布 | ATYUN订阅号

Facebook AI和华盛顿大学的研究人员设计了一些方法来增强谷歌的BERT语言模型,并在GLUE,SQuAD和RACE基准数据集中实现最先进的性能。BERT超过Google Brain的XLNet,又一次成为最强的NLP预训练模型。

该模型被命名为RoBERTa,用于“Robustly Optimized BERT”方法,采用了许多来自transformer (BERT)的双向编码器表示所使用的技术。

RoBERTa的不同之处在于,它依赖于训练前的大量数据和训练数据掩蔽模式的改变。

在训练前,原始的BERT使用了掩蔽语言建模和下一句话预测,但是RoBERTa放弃了下一句话预测的方法。

总的来说,RoBERTa在9个GLUE基准任务中的4个实现了最先进的结果,并且拥有与XLNet相当的整体GLUE任务性能。

团队表示,“我们发现BERT明显缺乏训练,其表现可以与之后发布的每一个模型媲美,甚至超过后者。我们的训练改进表明,在正确的设计选择下,掩蔽语言模型预培训与所有其他最近发布的方法具有竞争力。”

为了制作RoBERTa,研究人员用1024个Nvidia V100 GPU训练大约一天。

最初的BERT使用16GB BookCorpus数据集和英语维基百科进行训练,但RoBERTa使用了 CommonCrawl (CC)-News,这是一个76GB的数据集,包含了在2016年9月到2019年2月期间获得的6300万篇英文新闻文章。

最后,团队对RoBERTa进行了较长时间的预训练,将预训练步骤从10万步增加到30万步,然后进一步增加到50万步。

报告称,下游任务性能显著提高,300K和500K 步模型在大多数任务中都优于XLNet。

RoBERTa的推出延续了大规模语言理解人工智能系统OpenAI的GPT-2,Google Brain的XLNet和微软的MT-DNN,它们在基准性能结果上都超过了BERT。不过,训练此类模型的成本可能非常昂贵,并且会产生相当大的碳足迹。

论文:

arxiv.org/abs/1907.11692

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-07-30,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 ATYUN订阅号 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
NLP 服务
NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档