NLP领域，哪些综述性的文章值得推荐？

zenRRan整理

知乎问题：

NLP领域，你推荐哪些综述性的文章？

https://www.zhihu.com/question/355125622

纯属学术分享，若侵权则马上删除！

优秀回答者：Y.Shu

1. 《Neural Reading Comprehension And Beyond》

Danqi Chen 的斯坦福博士论文，前段时间很火。其中提出的关于 MRC 的开放问题洞察得非常深，是一些现有研究几乎没有触及到的问题。

2.《Tackling Graphical NLP problems with Graph Recurrent Networks》图神经网络在图相关 NLP 问题中的应用

这同样是一篇博士论文，GNN 与图数据最近也很有热度。

3.《Core techniques of question answering systems over knowledge bases: a survey》知识库问答的关键技术

这篇文章稍微比较老了，而且算是前深度学习时代的综述，不过能理解该领域的一些基本问题，例如可以看到 lexical gap 这样的基本问题在深度学习之前的解决方法；KBQA 进入深度学习的阶段之后，也分为端到端模型和使用 DL 对传统方法做改进的模型，传统方法并不能完全抛弃。

4.《Introduction to Neural Network based Approaches for Question Answering over Knowledge Graphs》知识图谱问答系统的神经网络方法介绍

今年的一篇 KGQA 的综述，个人感觉 KGQA/KBQA 的研究热度总体上还是不如 MRC，相关综述比较少，因而也值得关注。

5.《Speech and Language Processing (3rd ed. draft)》自然语言处理综论

比起说是综述，更像一本不断更新的 NLP 教材，免费公布在互联网上，内容比较新，框架比较大，虽然写得很厚了，细节上肯定还是不足，按其参考文献应当能对一个子领域了解得比较多。

6.《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》Google 在 2019 年 10 月发布的迁移学习在自然语言处理中的综述。

T5 是该文对现有迁移学习在 NLP 中的应用进行深入洞察和反复试验后，所提出的模型。读该文的前面一部分能对迁移学习在 NLP 中的最新应用有非常清晰的认识，文章的大部分描述了 T5 模型的实验过程，实验细节非常复杂，数据集和参数数量规模之大令人叹为观止，不过其对 Transformer 的进一步改进能给研究者一些启示。

7.《Semantic search on text and knowledge bases》文本与知识库语义搜索

2016 年的综述，主要包括语义搜索的基本任务：词性标注、命名实体识别等；关键字搜索、结构化搜索、问答系统等方面的语义搜索方法。

8.《Neural Machine Reading Comprehension: Methods and Trends》神经网络方法的机器阅读理解：方法与趋势

arXiv 上比较新的文章，重点是近年来的神经网络方法，其中阐述了 MRC 系统的一般结构。

优秀回答者：debuluoyi

比较成熟的 子领域就不说了，这里主要介绍NLP领域内几个尚需继续更好地解决的子领域和一些较新较好的综述文.

1.零样本学习

这个其实不管是CV还是NLP领域其实都在研究，也都待进一步解决。强烈推荐 2019年来自新加坡南洋理工大学的综述长文:

Wei Wang, Vincent W. Zheng, Han Yu, and Chunyan Miao.(2019). A Survey of Zero-Shot Learning: Settings, Methods, and Applications. ACM Trans. Intell. Syst. Technol.10, 2, Article 13 (January 2019), 37 pages.

本人自己也写过一篇零样本的综述文章，可以参考下。（一种解决范式）:

https://zhuanlan.zhihu.com/p/82397000

2 小样本学习

推荐 来自港科大和第四范式的Few-shot learning综述长文：Generalizing from a Few Examples: A Survey on Few-Shot Learning

https://arxiv.org/abs/1904.05046

3.迁移学习

推荐 迁移学习领域最具代表性的综述是A survey on transfer learning，杨强老师署名的论文，虽然比较早，发表于2009-2010年，对迁移学习进行了比较权威的定义。

Pan, S. J., & Yang, Q. (2009). A survey on transfer learning. IEEE Transactions on knowledge and data engineering, 22(10), 1345-1359.

另外还有一些比较新的综述Latest survey,在这里随手介绍几篇：

[1] 2019 一篇新survey：Transfer Adaptation Learning: A Decade Survey

Zhang, L. (2019). Transfer Adaptation Learning: A Decade Survey. arXiv preprint arXiv:1903.04687.

[2] 2018 一篇迁移度量学习的综述: Transfer Metric Learning: Algorithms, Applications and Outlooks

Luo, Y., Wen, Y., Duan, L., & Tao, D. (2018). Transfer metric learning: Algorithms, applications and outlooks. arXiv preprint arXiv:1810.03944.

另外这个领域 戴老板的论文也是非常有必要读的（非综述，个人强推）

[3] 戴文渊. (2009). 基于实例和特征的迁移学习算法研究 (Doctoral dissertation, 上海: 上海交通大学).

4.弱监督学习

这个比较推荐 南京大学周志华老师 的综述论文

Zhou, Z. H. (2017). A brief introduction to weakly supervised learning. National Science Review, 5(1), 44-53.

5.预训练模型

2019 google的T5模型论文，把它当成综述来看就介绍的挺好：

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... & Liu, P. J. (2019). Exploring the limits of transfer learning with a unified text-to-text transformer. arXiv preprint arXiv:1910.10683.

bert后还有一些改进模型比如华为刘群/百度的ERNIE,XLNet等相关非综述文章，可以自行阅读。

6 其他方向

还有一些比较新的不同方向的综述文：

[1] 注意力机制：Hu, D. (2019, September). An introductory survey on attention mechanisms in nlp problems. In Proceedings of SAI Intelligent Systems Conference (pp. 432-448). Springer, Cham.

[2] Elvis Saravia and Soujanya：PoriaElvis Saravia and Soujanya Poria：NLP方方面面都有涉及，颇有一些横贯全局的意思。

网址：

https://nlpoverview.com/index.html

这里只是分不同研究方向列举了一些，其余相关论文可以参考本文文章：

https://zhuanlan.zhihu.com/p/91408237

优秀回答者：paiisall

跨语言Embedding综述，19年作者也在arxiv上进行了版本更新（以及ACL19的tutorial）。

• A Survey Of Cross-lingual Word Embedding Models
• Unsupervised Cross-Lingual Representation Learning

GNN

• Graph Neural Networks: A Review of Methods and Applications

Seq2Seq摘要综述。

• Neural Abstractive Text Summarization with Sequence-to-Sequence Models

Domain Adaption

• A Survey of Domain Adaptation for Neural Machine Translation

IJCAI19 survey track

• https://www.ijcai19.org/accepted-papers.html

优秀回答者：小川Ryan

• 预训练模型

基于神经网络的词和文档语义向量表示方法研究

这是中科院一位师兄的博士论文，全面而不失深度

• 命名实体识别

A Survey on Recent Advances in Named Entity Recognition from Deep Learning models

• 注意力机制

An Attentive Survey of Attention Models

今年4月份出的attention综述，相当全面

• 图神经网络

https://github.com/thunlp/GNNPapers?tdsourcetag=s_pctim_aiomsg

清华nlp组推荐的一些GNN必读论文

上述都是非常精彩的综述类文章，也正好符合初学者的学习顺序

优秀回答者：tianchi7

• Knowledge Embedding
  • 刘知远, 孙茂松, 林衍凯, et al. 知识表示学习研究进展[J]. 计算机研究与发展, 2016, 53(2):247-261.
  • Wang Q , Mao Z , Wang B , et al. Knowledge Graph Embedding: A Survey of Approaches and Applications. IEEE Transactions on Knowledge and Data Engineering, 2017, PP(99):1-1.
• Name Entity Recognition
  • Li J , Sun A , Han J , et al. A Survey on Deep Learning for Named Entity Recognition[J]. 2018.
  • Vikas Yadav,Steven Bethard. A Survey on Recent Advances in Named Entity Recognition from Deep Learning models. COLING 2018
  • Jie Yang,Shuailong Liang,Yue Zhang. Design Challenges and Misconceptions in Neural Sequence Labeling. COLING 2018
• Sentiment Analysis
  • 赵妍妍，秦兵，刘挺. 文本情感分析 软件学报 2010.
  • Lei Zhang,Shuai Wang,Bing Liu. Deep Learning for Sentiment Analysis: A Survey.
• Text Match
  • 庞亮，兰艳艳等. 深度文本匹配综述 计算机学报 2017.
  • Wuwei Lan,Wei Xu. Neural Network Models for Paraphrase Identification, Semantic Textual Similarity, Natural Language Inference, and Question Answering COLING 2018
• Others
  • Sebastian Ruder.An Overview of Multi-Task Learning in Deep Neural Networks
  • Sebastian Ruder.Neural Transfer Learning for Natural Language Processing. PhD thesis. National University of Ireland, Galway.