专栏首页AI研习社百度开源自然语言理解模型 ERNIE 2.0,16 个 NLP 任务中碾压 BERT 和 XLNet!

百度开源自然语言理解模型 ERNIE 2.0,16 个 NLP 任务中碾压 BERT 和 XLNet!

7 月 30 日,百度发布了 ERNIE(Enhanced Representation through kNowledge IntEgration)的优化版本——ERNIE 2.0 自然语言理解框架。这个中英文对话的 AI 框架不仅获得了最优的(SOTA)结果,并且在 16 个 NLP 任务中表现出优于 BERT 和最近的 XLNet 的高水准。目前,ERNIE 2.0 代码和英文预训练模型已开源。

ERNIE 2.0 的由来

近年来,类似于 BERT,XLNet 的无监督预训练自然语言表达模型在各种自然语言理解任务中取得了重大突破,包括语言推断、语义相似度、命名实体识别、情感分析等。这也表明了基于大规模数据的无监督预训练技术能够在自然语言处理中发挥至关重要的作用。

SOTA 预训练模型(如 BERT,XLNet 和 ERNIE 1.0)的预训练系统核心是基于几个简单的任务来模拟单词或句子的共现。例如,BERT 构建了掩码模型和下一个句子预测任务,从而捕获单词和句子的共现信息;XLNet 则构造了一种全排列的语言模型,并采用了自回归的方式来捕获单词的共现信息。

然而除了共现之外,训练语料库中还包含语法、语义信息等更多有价值的信息。例如:命名实体(名称、位置和组织),则可以包含概念信息、句子之间的顺序和距离关系等结构知识;而文档层面的语义相似性或句子之间的话语关系,则能够训练模型学习语义感知表示。假设模型能够经过训练从而不断学习更多类型的任务,是否这样可以进一步提高模型的效果呢?

ERNIE 2.0 ——可持续学习语义理解框架

ERNIE 2.0 介绍

基于这一理念,百度提出了一种持续学习的语义理解预训练框架 ERNIE 2.0,它可以通过持续的多任务学习,逐步学习和建立预训练任务。

该框架支持增量引入词汇 (lexical)、语法 (syntactic) 、语义 (semantic) 等 3 个层次的自定义预训练任务,并通过多任务学习对其进行训练,实现全面捕捉训练语料中的词法、语法、语义等潜在信息。而且每当引入新任务时,该框架在递增地训练分布式表示的同时,还会记住先前任务的信息。

新发布的 ERNIE 2.0 模型的结构

ERNIE 2.0 与 BERT 或 XLNet 等经典预训练方法的不同之处在于,它并不是在少量的预训练任务上完成的,而是通过不断引入大量预训练任务,从而帮助模型高效地学习词汇、句法和语义表征。作为一种全新的语言理解持续预训练框架,ERNIE 2.0 不仅实现了 SOTA 效果,而且为开发人员构建自己的 NLP 模型提供了可行的方案。

ERNIE 2.0 测试效果

百度将 ERNIE 2.0 模型的性能与英文数据集 GLUE 和 9 个流行的中文数据集的现有 SOTA 预训练模型进行了比较。结果表明,ERNIE 2.0 在 7 种 GLUE 语言理解任务上优于 BERT 和 XLNet,并在所有 9 种中文 NLP 任务上击败 BERT,例如:基于 DuReader 数据集的阅读理解,情感分析和问答。

模型在 9 项常规中文 NLP 任务中的结果;模型结果均为五次实验结果的中位数,粗体字表示 SOTA 结果

实际上根据 GLUE 数据集的测试结果,无论是基本模型还是大型模型,我们能够观察到 ERNIE 2.0 在英语任务上优于 BERT 和 XLNET。此外,ERNIE 2.0 大型模型还实现了最佳性能,并为中文 NLP 任务创造了新的最优性能的结果。

模型在 GLUE 上的结果,其中开发集上的结果是五次实验结果的中位数,测试集结果根据 GLUE 评估服务完成

原文地址: http://research.baidu.com/Blog/index-view?id=121 模型论文地址: https://arxiv.org/abs/1907.12412 Github 项目地址: https://github.com/PaddlePaddle/ERNIE

本文分享自微信公众号 - AI研习社(okweiwu),作者:杨鲤萍

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-08-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 深度神经网络中的对抗样本与学习

    概述 最近大半年,人工智能领域成为科技领域提到的最多的名词之一。在kdnuggets此前发布的文章 (Deep Learning’s Deep Flaws)...

    AI研习社
  • 从 MAX 网站中获取模型,一秒开始你的深度学习应用

    您是否想过对图像进行分类、识别图像中的人脸或位置、处理自然语言或文本,或者根据应用程序中的时间序列数据创建推荐? 通过深度学习(使用深度神经网络的机器学习),你...

    AI研习社
  • 实时识别字母:深度学习和 OpenCV 应用搭建实用教程

    这是一个关于如何构建深度学习应用程序的教程,该应用程序可以实时识别由感兴趣的对象(在这个案例中为瓶盖)写出的字母。

    AI研习社
  • 百度开源自然语言理解模型 ERNIE 2.0,16 个 NLP 任务中碾压 BERT 和 XLNet!

    7 月 30 日,百度发布了 ERNIE(Enhanced Representation through kNowledge IntEgration)的优化版本...

    AI科技评论
  • 大会 | 智能感知与计算研究中心11篇论文被CVPR接收

    AI 科技评论按:本文作者郭瑞娥,首发于中科院自动化所「智能感知与计算研究中心」微信公众号,AI 科技评论获授权转载。 CVPR 是计算机视觉、模式识别和人工智...

    AI科技评论
  • Python 学习入门(18)—— 字符串

    一种方法是 a.isdigit(),但这种方法对于包含正负号的数字字符串无效,更为准确的为:

    阳光岛主
  • 儿子今天出了问题,已经第二次了

    中午本本发来短信,说[URL=http://www.hubeauty.com]上海美容化妆品网[/URL]不能访问,我没有在意,等到下班的时候看了一下,提示如下...

    崔文远TroyCui
  • 机器学习——打开集成方法的大门,手把手带你实现AdaBoost模型

    我们目前为止已经学过了好几个模型,光决策树的生成算法就有三种。但是我们每次进行分类的时候,每次都是采用一个模型进行训练和预测。我们日常在做一个决策的时候,往往会...

    TechFlow-承志
  • Win32线程安全问题.同步函数

      通过上面几讲.我们知道了线程怎么创建.线程切换的原理(CONTEXT结构) 每个线程在切换的时候都有自己的堆栈.

    IBinary
  • 为什么微软正在成为一家「开源」公司?

    微软正在成为一家开源公司。 拥有自己的BSD Unix操作系统,以支持乌班图作为Windows 10的子系统。以及最近开放源代码的Xamarin软件开发工具包。...

    人称T客

扫码关注云+社区

领取腾讯云代金券