盘点自然语言处理的 2018，预测 2019

自然语言处理的 2018

1. 迁移学习成功应用到NLP

迁移学习是将预训练模型应用到一个新的数据集，是计算机视觉领域爆炸式进步的一个关键，在2018年成功应用到了NLP

【1】ULMFiT

“通用语言模型的微调”的缩写

论文：Universal Language Model Fine-tuning for Text Classification

http://www.aclweb.org/anthology/P18-1031

作者是Fast.ai创始人Jeremy Howard和博士生Sebastian Ruder

在进行一项NLP任务时，不再需要从零开始训练模型，ULMFiT用少量数据微调一下，就可以在新任务上实现更好的性能。

【2】ELMo

ELMo (Embeddings from Language Models)，是一种开源的深度语境化词汇表示，改进了word2vec或GloVe这类上下文无关的嵌入。能体现一个词在语法语义用法上的特征，也能体现在不同语境下的变化。

论文：Deep contextualized word representations

https://arxiv.org/pdf/1802.05365.pdf

由艾伦人工智能研究所和华盛顿大学的研究人员于3月发表

这个深层语境化的单词表示模型，让模型的每个任务都有相当大的改进

还有 BERT，在下面介绍

2. 机器阅读理解

【3】BERT

BERT (Bidirectional Encoder Representations from Transformers)，是一个双向的、无监督的语言表示，在维基百科语料上进行了预训练。

10月13日，谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中，两个衡量指标上全面超越人类，在11种不同NLP测试中创出最佳成绩

https://arxiv.org/pdf/1810.04805.pdf

还可以用于分类、语义相似度、语法、电影评论、语义等价、问答、实体识别

3. 常识推理

目前取得最先进水平的论文：

Dual PECCS: a cognitive system for conceptual representation and categorization

https://iris.unito.it/retrieve/handle/2318/1603656/240649/lieto16dual_final_draft.pdf

Antonio Lieto等人于2017年发布

4. 机器翻译

【5】Transformer+BR-CSGAN

improving neural machine translation with conditional sequence generative adversarial nets

https://arxiv.org/pdf/1703.04887.pdf

Zhen Yang等人于2018年4月在Arxiv上发布

5. 自然语言推断

【6】DIIN

natural language inference over interaction space

https://arxiv.org/pdf/1709.04348.pdf

Yichen Gong等人于2017年9月在Arxiv上发布

自然语言处理的 2019

KDnuggets的编辑Matthew Mayo预测：

2019年，研究注意力将从监督学习转向强化学习和半监督学习等领域

fast.ai 创始人，旧金山大学副教授Rachel Thomas预测：

正如Sebastian Ruder所写的那样，“NLP的ImageNet时代已经到来”