微软研究院Jianfeng Gao：基于深度学习的自然语言处理导论

【导读】深度学习近几年在各领域的发展可谓是如火如荼，基于深度学习的自然语言处理方法也大受关注。本文介绍微软研究院Jianfeng Gao的一个暑期课程，课程主要讲解如何用深度学习做自然语言处理。课程主要分为四章：深度学习和自然语言处理(NLP)的介绍、用于文本处理的深度语义相似模型(DSSM)、用深度学习做机器阅读理解(MRC)和问答(QA)、基于深度学习的对话研究。相信通过学习该课程，你会对自然语言处理最新的方法有更深的理解，同时也希望能对您的科研或工作带来帮助。

An Introduction to Deep Learning for Natural Language Processing

Jianfeng Gao Microsoft Research

基于深度学习的自然语言处理导论

▌概要

在这个演讲中，我将简要介绍深度学习的历史及其在自然语言处理（NLP）任务中的应用。 然后我详细描述了最近为三个NLP任务领域开发的深度学习技术方法。 首先是一系列深度学习模型，用于对文本和图像之间的语义相似性进行建模，该任务是网络搜索排名，推荐，图像描述生成和机器翻译等应用的基础。 其次是开发一套模型，解决机器阅读理解和自动问答相关问题。 第三个是将深度学习应用在各种对话工具上，包括面向具体任务的聊天机器人(比如智能客服)和社交型的通用聊天机器人(Siri, 小冰)。

▌课程大纲

第一章：深度学习和自然语言处理(NLP)引言

深度学习简史

用神经网络进行query分类

NLP任务中深度学习模型概述

第二章：使用深度语义相似模型(DSSM)进行文本处理

建模语义相似性的挑战

什么是DSSM

基于DSSM的Web搜索排名应用

基于DSSM的推荐应用

基于DSSM的自动图像描述生成和其他任务。

第三章：用深度学习做机器阅读理解(MRC)和问答(QA)——MRC和QA的挑战

对符号方法的简要回顾

从符号到神经的方法

最先进的MRC模型

面向开放域（open-domain）的QA系统

第四章：基于深度学习的对话

开发开放领域聊天机器人的挑战

使用深度强化学习来开发面向具体任务的聊天机器人

基于神经对话引擎的社交型的通用聊天机器人

▌参考

第一章: Yih, He & Gao.Deep learning and continuous representations for natural language processing. Tutorial presented in HLT-NAACL-2015, IJCAI-2016.

第二章 (DSSM): We have developed a series of deep semantic similarity models (DSSM, also a.k.a.Sent2Vec), which have been used for many text and image processing tasks, including web search [Huang et al. 2013,Shen et al. 2014], recommendation [Gao et al. 2014a], machine translation [Gao et al. 2014b], and QA [Yih et al. 2015].

第三章 (MRC): We released a new MRC dataset, calledMS MARCO; and have developed a series of reasoning networks for MRC, akaReasoNetandReasoNet with shared memory.

第四章 (Dialogue): We have developed neural network models for social bots trained on Twitter data [project site] and task-completion bots [Lipton et al. 2016;Bhuwan et al. 2016] trained via deep reinforcement learning usinga user simulator.

▌作者简介：

Jianfeng Gao Microsoft Research

Jianfeng Gao is Partner Research Manager in Deep Learning Technology Center (DLTC) at Microsoft Research, Redmond. He works on deep learning for text and image processing and leads the development of AI systems for dialogue, machine reading comprehension (MRC), question answering (QA), and enterprise applications. From 2006 to 2014, he was Principal Researcher at Natural Language Processing Group at Microsoft Research, Redmond, where he worked on Web search, query understanding and reformulation, ads prediction, and statistical machine translation. From 2005 to 2006, he was a research lead in Natural Interactive Services Division at Microsoft, where he worked on Project X, an effort of developing natural user interface for Windows. From 1999 to 2005, he was Research Lead in Natural Language Computing Group at Microsoft Research Asia. He, together with his colleagues, developed the first Chinese speech recognition system released with Microsoft Office, the Chinese/Japanese Input Method Editors (IME) which were the leading products in the market, and the natural language platform for Windows Vista.

参考链接：

http://grammars.grlmc.com/DeepLearn2017/coursedescription/

https://www.microsoft.com/en-us/research/people/jfgao/

https://www.microsoft.com/en-us/research/publication/introduction-deep-learning-natural-language-processing-tutorial-deeplearning2017-summer-school-bilbao-2/#

▌PPT

PPT详细内容如下：

-END-

专 · 知

人工智能领域主题知识资料查看获取：【专知荟萃】人工智能领域26个主题知识资料全集（入门/进阶/论文/综述/视频/专家等）