从语言模型到XLNet的知识点笔记

前言

前段时间一直在忙产品上线的事情,对于NLP领域的新宠“Pretrain+Finetune”范式以及BERT、XLNet等模型都是零零散散的了解,很多细节一知半解,趁着这几天有些时间,索性把相关的paper都从头看一遍,加深理解。大规模Pretrain加小规模Finetune其实并不是最近才有的Pipeline,几年前在CV领域已被提出并证实其在Transfer方面的效果。但CV领域的Pretrain是基于大规模的监督数据,而在NLP领域,标注数据是非常稀缺的,因此才一直不愠不火。直到BERT的推出,基于非监督语言模型的Pretrain才逐渐火爆(毕竟无监督的语料数据太容易获得了),因此笔者就从LM开始,把最近一些前沿的重点工作做下简单的总结,也算是做下笔记加深印象。

由于编辑器对latex支持太难用了,贴一下原文地址好了!

手机版阅读:

从语言模型到XLNet的知识点笔记

网页版阅读:

从语言模型到XLNet的知识点笔记

作者简介

zakexu,硕士毕业于华南理工大学,现任腾讯云AI算法工程师,负责腾讯云NLP的公有云产品架构以及标准化产品交付,欢迎交流合作!

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏自然语言处理(NLP)论文速递

绝干货! | (改)最有用的自然语言处理(NLP)入门资料

今天突然看到有人留言说,原来和大家分享的资料网盘链接根本打不开,今天才看到,这里要和大家说句抱歉。为此作者今天重新整理了一下,希望大家能及时的保存。

12240
来自专栏机器之心

KDD 提前看 | KDD 里的技术实践和突破

数据挖掘、深度学习以及其他机器学习的模型、算法在过去几年一直保持快速发展,研究人员不断提出了大量优秀的模型、算法等,在实验条件下,模型和算法的准确度、处理速度等...

14730
来自专栏自然语言处理(NLP)论文速递

「自然语言处理(NLP)论文推送」第一弹(含源码)804

本次论文推送主要有三篇文章为大家分享(都带有源码哦~),第一篇是百度公司发表的,主要讲述了ERNIE2.0语言理解预训练框架。第二篇是华盛顿大学发表的一篇关于B...

14530
来自专栏AI科技评论

从基础到 RNN 和 LSTM,NLP 取得的进展都有哪些?

本文基于 NLP 的基础知识,全方位介绍了 NLP 随着深度学习和神经网络的应用所取得的进展。

10520
来自专栏奇点大数据

NLP预训练模型中的骄子:百度ERNIE和谷歌BERT,你PICK谁?

说到美国动漫《芝麻街》中的BERT,很多人就会自然而然想到他的好朋友ERNIE,在科技圈中的BERT和ERNIE也经常被同时cue到……

12540
来自专栏SAMshare

神经阅读理解与超越:基础篇

原文链接:https://chendq-thesis-zh.readthedocs.io/en/latest/

16720
来自专栏磐创AI技术团队的专栏

OpenAI的GPT-2:用Python构建世界上最先进的文本生成器的简单指南

来源 | Analytics Vidhya 【磐创AI导读】:继之前介绍使用GPT-2生成类披头士歌词(有兴趣的可以查看往期文章),现在让我们再来看看这个强大的...

21250
来自专栏月小水长

不一样的七夕礼:最美情话+AI 作诗

七夕到了,程序猿同志们都在想怎么送女朋友礼物,送包包?太俗气!送口红?没有新意!

12720
来自专栏轮子工厂

字节跳动宣布要做全网搜索,百度真正的危机来了

7月31日晚,字节跳动在其“字节跳动招聘”公众号上正式对外为“字节跳动搜索部门”招聘员工。

11920
来自专栏有三AI

【NLP】 深入浅出解析BERT原理及其表征的内容

本篇介绍目前NLP领域里影响力最大的预训练模型BERT。首先,大致介绍了BERT里有什么;接着,介绍了BERT的结构和其预训练的方式;最后,再总结BERT的表征...

61020

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励