专栏首页量子位20项任务横扫BERT!CMU谷歌发布XLNet,NLP再迎屠榜时刻

20项任务横扫BERT!CMU谷歌发布XLNet,NLP再迎屠榜时刻

问耕 发自 凹非寺 量子位 出品 | 公众号 QbitAI

这世界变化快。

去年10月,Google团队发布BERT模型横扫一切,在11种不同NLP测试中创出最佳成绩。现在,轮到BERT被碾压了。

CMU和Google Brain团队最新发布的XLNet,在20项任务上超过了BERT的表现,包括SQuAD、GLUE、RACE等等。

这个消息一出,业界又轰动了。

目前这个模型的的论文、代码和预训练模型都已经放出。

XLNet的共同一作,是本科都毕业于清华的Zhilin Yang(杨植麟)和Zihang Dai,目前两人都在CMU读博。

为什么XLNet能够横扫BERT?

作者在这篇论文中表示,BERT在训练时需要mask一些输入,忽略了被遮蔽位置之间的依赖关系,因此产生预训练-微调差异。

而这次提出的XLNet,是一种泛化的自回归预训练模型。一方面,XLNet通过通过最大化所有可能因式分解顺序的对数似然,学习双向上下文;另一方面,利用自回归来客服BERT的缺点。此外,XLNet还在预训练中借鉴了最先进自回归模型Transformer-XL的想法。

最终的测试表明,XLNet在20个任务上的表现优于BERT,而且通常是大幅提升;在18个任务上,获得了最高水平的结果,包括机器问答、自然语言推理、情感分析和文档排序等。

一大批用户在推特上表示了震惊。

“我还以为NLP已经被BERT和ULMFiT解决了”,一位用户发了个哭脸评论道。

这篇论文的作者大牛云集,除了开头提到的两位共同一作,还包括CMU教授Yiming Yang、Jaime Carbonell和Ruslan Salakhutdinov,以及来自Google Brain团队的大牛Quoc V. Le。

最后送上传送门。

论文地址在此:

https://arxiv.org/abs/1906.08237

GitHub地址在此:

https://github.com/zihangdai/xlnet

本文分享自微信公众号 - 量子位(QbitAI),作者:关注前沿科技

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-06-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 8篇论文梳理BERT相关模型进展与反思 | MSRA出品

    BERT 自从在 arXiv 上发表以来获得了很大的成功和关注,打开了 NLP 中 2-Stage 的潘多拉魔盒。

    量子位
  • 谷歌最强NLP模型BERT如约开源,12小时GitHub标星破1500,即将支持中文

    BERT终于来了!今天,谷歌研究团队终于在GitHub上发布了万众期待的BERT。

    量子位
  • 自动驾驶“老司机”拼车技,MIT的这个比赛已经飙到了时速123公里

    量子位
  • 20项任务横扫BERT!CMU谷歌发布XLNet,NLP再迎屠榜时刻

    去年10月,Google团队发布BERT模型横扫一切,在11种不同NLP测试中创出最佳成绩。现在,轮到BERT被碾压了。

    深度学习与Python
  • 互联网新闻情感分析比赛,复赛第8名(8/2745)解决方案及总结

    本次比赛的任务是对给定文本进行情感极性分析,情感极性包括正中负三类。这次比赛我的成绩是复赛第8名(共2745支参赛队伍,实际有效提交851个提交)。借助分享本次...

    double
  • 20项任务全面碾压BERT,CMU全新XLNet预训练模型屠榜(已开源)

    2018 年,谷歌发布了基于双向 Transformer 的大规模预训练语言模型 BERT,刷新了 11 项 NLP 任务的最优性能记录,为 NLP 领域带来了...

    机器之心
  • 20项任务全面碾压BERT,CMU全新XLNet预训练模型屠榜(已开源)

    BERT 带来的影响还未平复,CMU 与谷歌大脑提出的 XLNet 在 20 个任务上超过了 BERT 的表现,并在 18 个任务上取得了当前最佳效果。令人激动...

    zenRRan
  • 20 项任务全面碾压 BERT,CMU 全新 XLNet 模型屠榜,代码已开源!

    BERT 带来的影响还未平复,CMU 与谷歌大脑提出的 XLNet 在 20 个任务上超过了 BERT 的表现,并在 18 个任务上取得了当前最佳效果。令人激动...

    崔庆才
  • BERT霸榜问答任务,谷歌新基准模型缩小AI与人类差距50%

    上周,谷歌AI团队发布了一个新的NLP基准数据集:自然问题数据集(Natural Questions)。

    新智元
  • 开发 | 谷歌更强NLP模型XLNet开源:20项任务全面碾压BERT!

    与基于自回归语言建模的预训练处理方法相比,基于自编码的预训练处理方法(比如BERT)具有良好的双向上下文建模能力。然而,由于依赖于使用掩码破坏输入,BERT忽略...

    AI科技评论

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动