新智元报道
来源:google
编辑:张佳
经典的监督机器学习范式是基于对使用单个数据集的任务的单个预测模型的孤立学习。这种方法需要大量的训练示例,并且对于定义明确、范围狭窄的任务效果最好。迁移学习指的是一组方法,这些方法通过利用来自其他域或任务的数据来训练具有更好泛化特性的模型来扩展此方法。
近两年来,自然语言处理(NLP)领域出现了几种转移学习方法和体系结构,这些方法和体系结构大大提高了NLP任务的先进性。
这些改进,加上这些方法的广泛可用性和易集成性,使人们想起了导致计算机视觉中预训练字嵌入和ImageNet预训练成功的因素,并表明这些方法很可能成为NLP中的一种常用工具以及一个重要的研究方向。
我们将概述NLP中的现代迁移学习方法,如何对模型进行预培训,它们所学习的表示捕获哪些信息,并回顾有关如何在下游NLP任务中集成和适应这些模型的示例和案例研究。
什么是迁移学习?
(a)传统机器学习的学习过程:
任务1:学习系统
任务2:学习系统
任务3:学习系统
(b)迁移学习的学习过程:
源任务:知识
目标任务:学习系统
为什么是NLP迁移学习?
为什么是NLP迁移学习?(凭经验)
在命名实体识别(NER)CONLL-2003(英语)上随着时间推移的表现
NLP中迁移学习的类型
本教程到底讲什么?
本教程讲的是什么,不讲的是什么:
框架:
1、介绍
2、预训练
3、代表中有什么?
4、适应
5、下游
6、开放问题
顺序迁移学习
了解一个任务/数据集,然后迁移到另一个任务/数据集
预训练:
word2vec
GloVe
skip-thought
InferSent
ELMo
ULMFiT
GPT
BERT
适应:
分类
序列标记
问答
预培训任务和数据集
未标记数据和自我监督:
监督预培训:
目标任务和数据集
目标任务通常是受监控的,跨越一系列常见的NLP任务:
具体示例——词向量
单词嵌入方法(例如word2vec)每个单词学习一个向量
主题:从单词到语境中的单词
主题:从单词到语境中的单词
词向量 句子/doc向量 语境中词向量
主题:LM预训练
主题:由浅入深
1层 24层
主题:预培训与目标任务
预培训和目标任务的选择是耦合的
一般来说:
PPT地址:
https://techxplore.com/news/2019-05-framework-deep-neural-networks.html
GitHub:
https://github.com/huggingface/naacl_transfer_learning_tutorial