自然语言处理中的深度学习

关于本书

本书由全球知名的 Deep Learning 和 NLP 专家邓力博士领导的一组最活跃的研究人员撰写，全面介绍了深度学习解决 NLP 中的基本问题，而且是目前对此方面研究最新、最全面的综述。此外，面对高质量和前沿教科书和研究参考文献的需求急剧上升的今天，本书的出版是对 NLP 中深度学习应用方面的巨大进步所作出的迅速反应。本书为各行各业从业人员提供了一个独特的参考指南，特别对于互联网和人工智能创业领域，NLP 技术正在成为一个关键的推动因素和核心竞争因素。—— 张宏江，Source Code Capital 创始人，前金山软件 CEO

本书主要为大家全面呈现了深度学习在 NLP 领域应用的最新进展，并且特别介绍了卓有成效地应用了深度学习的 NLP 相关领域，比如语音翻译、对话系统、词法分析、语法分析、知识图谱、机器翻译、问题回答、情绪分析、社会计算以及（来自图像的）自然语言生成。本书所面向的读者包含有计算背景的研究生、博士生、教师、工业研究者，以及对 NLP 领域深度学习感兴趣的任何人。—— 主编邓力

目录及作者

Chapter 1: A Joint Introduction to Natural Language Processing and to Deep Learning (Li Deng and Yang Liu)

Chapter 2: Deep Learning in Conversational Language Understanding (Gokhan Tur, Asli Celikyilmaz, Xiaodong He, Dilek Hakkani-TÜr, and Li Deng)

Chapter 3: Deep Learning in Spoken and Text-based Dialogue Systems (Asli Celikyilmaz, Li Deng, and Dilek Hakkani-TÜr)

Chapter 4: Deep Learning in Lexical Analysis and Parsing (Wanxiang Che and Yue Zhang)

Chapter 5: Deep Learning in Knowledge Graph (Zhiyuan Liu and Xianpei Han)

Chapter 6: Deep Learning in Machine Translation (Yang Liu and Jiajun Zhang)

Chapter 7: Deep Learning in Question Answering (Kang Liu and Yansong Feng)

Chapter 8: Deep Learning in Sentiment Analysis (Duyu Tang and Meishan Zhang)

Chapter 9: Deep Learning in Social Computing (Xin Zhao and Chenliang Li)

Chapter 10: Deep Learning in Natural Language Generation from Images (Xiaodong He and Li Deng)

Chapter 11: Epilogue (Li Deng and Yang Liu)

主编简介

邓力博士 （人工智能科学家）

照片取自百度

邓力，2017年5月至今任对冲基金公司 Citadel 首席人工智能官（Chief Artificial-Intelligence Officer）。之前任微软人工智能首席科学家。邓力在2009 年就同 Geoffrey Hinton 教授合作，首次提出并将深度神经网络应用到大规模语言识别中，显著提高了机器对语音的识别率，极大推动了人机交互领域的发展与进步。目前，邓力的研究方向主要为应用于大数据、语音、文本、图像和多模态处理的深度学习和机器智能方法，以及人工智能和深度学习在金融领域的应用。在语音、NLP、大数据分析、企业智能、互联网搜索、机器智能、深度学习等领域，邓力曾获 70 多项美国或国际专利。同时，他还获得过 IEEE、国际言语通讯协会、美国声学协会、亚太信号与信息处理协会、微软等组织授予的多项荣誉。2015 年，凭借在深度学习与自动语音识别方向做出的杰出贡献，邓力获 IEEE 技术成就奖。

刘洋博士

刘洋，清华大学计算机科学与技术系特别研究员、长聘副教授、博士生导师，国家优秀青年基金获得者。研究方向是自然语言处理，在自然语言处理和人工智能领域重要国际刊物Computational Linguistics和国际会议 ACL、EMNLP、IJCAI 和 AAAI上发表50余篇论文，获ACL 2017杰出论文和 ACL 2006优秀亚洲自然语言处理论文奖。承担10余项国家自然科学基金、国家重点研发计划、国家863计划、国家科技支撑计划和国际合作项目，2015年获国家自然科学基金优秀青年项目资助。获得2015年国家科技进步二等奖、2014年中国电子学会科学技术奖科技进步类一等奖、2009年北京市科学技术奖二等奖和2014年中国中文信息学会钱伟长中文信息处理科学技术奖汉王青年创新奖一等奖等多项科技奖励。担任中国中文信息学会青年工作委员会主任兼计算语言学专业委员会秘书长、国际计算语言学学会 SIGHAN Information Officer、ACM TALLIP Associate Editor、ACL 2015组织委员会共同主席、ACL 2014讲习班共同主席、ACL 2017/2018与 EMNLP 2016程序委员会机器翻译领域共同主席。

精华预览

深度学习 (Deep Learning) 是一个处理端到端学习和信息提炼所需的大量计算和数据的有力工具。因为深度学习具有更复杂的分布式表示、更精细的功能块模块化设计（如：层级注意力机制）和基于梯度的高效学习方法，它已经成为解决越来越多自然语言处理 Natural language processing (NLP) 问题的主要范式和先进方法。深度学习的新思路与 NLP ,存在着微妙的联系。首先，尽管符号处理在人类认知领域发展较晚，但它具有高效逻辑推理能力和易于解释两个特点，这在许多 NLP 应用领域均不可或缺。可微分编程使用类似于张量积的编码方式实现神经网络和语言结构的统一表示，为复杂、灵活和动态的结构化神经网络带来了高效的学习效率，这是符号处理和神经网络两大领域的福音。其次，正如本书各章中所证实： NLP 模型的动态特性正在逐渐被大众所接受。一方面， NLP 究对象的本质是语言和文字，它们本身就有维度变化大的特点，比如文档、句子或词汇的（输入）长度及结构是动态变化的。另一方面，在支持动态变化的神经网络结构中，目前的深度学习框架已经可以实现可变维度的文本输入。语言离散性的特点使它不能利用可微分编程实现端到端的学习，但通过一类基于模型逼近的松弛技术有望能够解决这个难题，这为使用自然出现的语言数据来提升机器学习和 NLP 提供了更多的可能性。

在本书中我们汇总了大多数深度学习方法应用于 NLP 领域的最新进展（包括2017下半年的最新研究进展）。在此基础上，我们拓展了关于 NLP 前沿研究领域的五个发展方向：

1. 自然语言重组的泛化

2. NLP 的无监督学习

3. NLP 的强化学习

4. NLP 的元学习

5. 基于深度学习的 NLP 系统的神经符号整合和可解释性

近期有很多关于深度学习（尤其是 NLP 方面）拓展到更为通用领域的热点话题，在全书的最后一部分，我们对此进行简要概述。泛化的本质是将深度神经网络（如：参数化功能块的计算图表）从静态转为动态。这意味着泛化可以使由许多可微分模型组成的网络架构以数据相关的方式进行实时创建。正如本书很多章节中使用逻辑表达式、条件、赋值和循环等进行程序化编程，在可微分编程模型中，涉及到存储、注意、堆栈、队列和指针模块的深度神经网络架构亦如此实现。实际上，当前的深度学习框架（如： PyTorch, TensorFlow, Chainer, MXNet, CNTK等）更要追求模型的灵活性，因为一旦高效的编译器被开发出来，我们将需采用一个全新的软件实现方式。以循环和条件判断为主的传统编程逻辑将被淘汰，取而代之的是由神经网络实现的参数化功能模块的组装图表。其中的关键技术在于，基于模型的可微分性，使用高效的梯度优化方法，通过端到端的反向传播学习从数据中自动训练出组装图表中的所有参数，比如神经网络的权重以及定义网络非线性和存储模块的参数。

总之，我们相信在不久的将来，以广义深度学习或可微分编程框架所创建的更加强大、更加灵活、更加先进的学习架构可以解决本书中所列举的 NLP 前沿研究领域的遗留问题。不止于本书中所提及的研究成果，新的成就将会像雨后春笋般涌现，这一切都将会使我们越来越接近通用人工智能实现的日子。那时， NLP 将会成为通用人工智能的一个重要组成部分呈现在大家面前。

版权声明