前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >直播回顾 | 最强中文NLP预训练模型艾尼ERNIE官方揭秘

直播回顾 | 最强中文NLP预训练模型艾尼ERNIE官方揭秘

作者头像
量子位
发布2019-09-09 18:04:34
5200
发布2019-09-09 18:04:34
举报
文章被收录于专栏:量子位

“最近刚好在用ERNIE写毕业论文” “感觉还挺厉害的” “为什么叫ERNIE啊,这名字有什么深意吗?” “我想让艾尼帮我写作业”

看了上面热火的讨论,你一定很好奇“艾尼”、“ERNIE”到底是个啥?

自然语言处理( Natural Language Processing ,简称NLP )被誉为人工智能“皇冠上的明珠”。NLP是为各类企业及开发者提供的用于文本分析及挖掘的核心工具,已经广泛应用在电商、文化娱乐、金融、物流等行业客户的多项业务中。

艾尼(ERNIE),可谓是目前NLP领域的最强中文预训练模型。

昨天,百度资深研发工程师龙老师,就通过直播带开发者走近最强中文NLP预训练模型ERNIE,在线上解读了一系列艾尼ERNIE的强大特性,并现场与同为NLP模型的BERT直接PK,让开发者连连感叹,希望能把ERNIE运用到自己的工作与生活之中。

错过了直播没关系,让我们来回顾一下课上都讲了啥~

什么是艾尼(ERINE)?

艾尼(ERNIE)是百度自研的持续学习语义理解框架,该框架支持增量引入词汇( lexical )、语法 ( syntactic ) 、语义( semantic )等3个层次的自定义预训练任务,能够全面捕捉训练语料中的词法、语法、语义等潜在信息。

这些任务通过多任务学习对模型进行训练更新,每当引入新任务时,该框架可在学习该任务的同时,不遗忘之前学到过的知识。这也意味着,该框架可以通过持续构建不同的预训练任务,持续提升模型效果。因此ERNIE具有了更好的语义理解能力。

ERNIE 2.0持续学习语义理解框架

ERNIE好用么?

好不好用,摆事实才知道。

直播环节中,龙老师直接用填空题的形式展示了ERNIE与BERT在填空方面的表现。

例如题目:中国历史上唯一的正统女皇帝是[?][?][?],下面是直播中两种算法的表现:

ERNIE的结果是“武则天”,而BERT的结果是“宋太帝”。ERNIE能输出“武则天”说明它确实能学到“武则天”与“女皇帝”之间的关联。

而BERT输出的“宋太帝”虽然每个字“宋”、“太”、“帝”都与“皇帝”相关,但是连在一起就不是一个完整的词,而且也不能与“女皇帝”的形成照应。

再如,陈晓的妻子是[?][?][?]

ERNIE用答案向我们证明了自己不只懂百科,也懂八卦。

通过上面的DEMO测试,我们也就引出了这样一个问题:

ERNIE和BERT最大的区别是什么?

ERNIE1.0能够充分学习词语、短语、命名实体识别中字与字之间的关系,将其整体进行掩码。而BERT不具备这样的能力。ERNIE2.0则通过持续构造辅助任务让ERNIE进行学习,会的任务越多能力越强大。

这与BERT只靠一两个任务进行预训练的思路是完全不同的。就像小学生做题,一直只练一种题型肯定是不行的,需要多种题型都会做,既要有专项突破也要有综合练习,这样才能成为真正的学霸。

随着多样的训练数据的增加,ERNIE通过持续学习就能够学得越来越好。

ERNIE作为模型,也需要与深度学习框架的深度配合,才能实现最佳的效果。百度开源的深度学习框架飞桨(PaddlePaddle)对ERNIE模型有非常好的定制优化,使得其加速比达到77%,可以说是ERNIE背后的神助攻。

ERNIE借助飞桨 PaddlePaddle 多机分布式训练优势,利用 79亿 tokens 训练数据(约1/4的 XLNet 数据)和64张 V100(约1/8的 XLNet 硬件算力)训练的 ERNIE 2.0预训练模型不仅实现了在中英文16个任务上的最优效果,而且为开发人员定制自己的 NLP 模型提供了方案。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-09-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 量子位 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 什么是艾尼(ERINE)?
  • ERNIE好用么?
相关产品与服务
NLP 服务
NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档