从语言模型到XLNet的知识点笔记

前言

前段时间一直在忙产品上线的事情，对于NLP领域的新宠“Pretrain+Finetune”范式以及BERT、XLNet等模型都是零零散散的了解，很多细节一知半解，趁着这几天有些时间，索性把相关的paper都从头看一遍，加深理解。大规模Pretrain加小规模Finetune其实并不是最近才有的Pipeline，几年前在CV领域已被提出并证实其在Transfer方面的效果。但CV领域的Pretrain是基于大规模的监督数据，而在NLP领域，标注数据是非常稀缺的，因此才一直不愠不火。直到BERT的推出，基于非监督语言模型的Pretrain才逐渐火爆（毕竟无监督的语料数据太容易获得了），因此笔者就从LM开始，把最近一些前沿的重点工作做下简单的总结，也算是做下笔记加深印象。

由于编辑器对latex支持太难用了，贴一下原文地址好了！

手机版阅读：

从语言模型到XLNet的知识点笔记

网页版阅读：

从语言模型到XLNet的知识点笔记

作者简介

zakexu，硕士毕业于华南理工大学，现任腾讯云AI算法工程师，负责腾讯云NLP的公有云产品架构以及标准化产品交付，欢迎交流合作！

• 个人博客：https://zakexu.blog.csdn.net/
• 知乎ID：zakexu