深度学习和自然语言处理：介绍

接下来，小编将会系统地推送斯坦福大学Richard Socher教授的最新课程：深度学习和自然语言处理。

这门课程比较新，结合深度学习，神经网络，同时注重工程应用，比如应用Tensorflow解决自然语言处理领域的问题，使用的语言是Python，也是深度学习领域大家都在用的，所以强烈推荐大家与我一起学习Richard Socher大神的这门课及课程给出的参考资料。计算

Richard 的第一讲是对自然语言处理的介绍，主要包括以下几方面：

1) 自然语言处理是什么？

2) 人类语言的本质

3) 理解语言的难点在哪里？

4) Richard大神亲抒自然语言处理目前的工程应用，各个领域的，激动中。

1 NLP是什么

自然语言处理是计算机科学，人工智能和语言学的交叉科学，旨在让计算机去处理或理解自然语言，以便做一些有意义的事情。

理解和表达语言的意思是一件困难而值得探索的事。

精准的语言理解是AI的全部。

2 语言特点

人类语言大多是离散地，带有符号表达，可以分类的，传递含义的系统。语言符号的分类可以为：声音，手势，书写，图像。

3 深度学习

经典标准的机器学习不同，深度学习会自动地学到好的特征或表示，如图所示，它会尝试学到h1, h2, h3, h4(输出层)这四个层的表达关系，输入的x可以是：声音，像素，字符，词语。在这门课程中会介绍已经很好地解决了NLP问题的各种不同神经网络，而不会详细的介绍神经网络的发展历程，关于NN的发展历史，请参考之前的推送： 机器学习、深度学习干货分享 。 深度学习是在2010年开始逐渐超越传统的机器学习，是什么使得DL超越了ML呢？

• 大数据技术的发展极大地促进了DL的发展；
• 更快的计算机，多核CPU/GPU的发展；
• 更好的算法出现：包括，更易于学习的中间件的表达，高效的端到端的联合系统学习，用上下文和任务间切换的学习方法，更好的正则化技术和最优化技术。

这些发展首先应用在了语音识别，图像识别，然后是NLP。DL应用在语音识别是先例，代表性的论文：Context-Dependent Pre-trained Deep Neural Networks for Large Vocabulary Speech Recognition Dahl et al. (2010) 后来应用在图像处理上，代表性的论文：

ImageNet Classification with Deep Convolutional Neural Networks by Krizhevsky, Sutskever, & Hinton (2012)，用于图像识别：

4 NLP难点

表达具有复杂性，学习和使用语言知识，情景知识，上下文知识，几乎所有我们能听闻、观察到的知识，解释翻译都得依赖于这些。

同时，人类的语言是模棱两可的。

近期，自然语言处理已经取得的进展，大家可以参考之前的推送：

一文了解自然语言处理的每个范畴用到的核心技术，难点和热点(1)

5 NLP的应用

1) 情感分析

接下来Richard 教授会讲 RNNs, TreeRNNs用于情感分析。

2) 问答系统(QA)

DL基本不同于传统的特征工程表达，而是基于词向量的深度学习框架。

3) 自动应答系统

典型的应用是谷歌的 Inbox APP，经典的神经语言模型的代表是RNN网络。

4) 机器翻译

同样，深度学习不同于传统的翻译技术，应用神经机器翻译，输入的句子(左下角)被映射为向量，输出后的句子(右上角)为翻译后的句子。这方面的重要论文参考：Sutskever et al. 2014, Bahdanau et al. 2014, Luong and Manning 2016.

6 向量表达

NLP的所有层，都是用向量来进行表达，因此如何将词语表示为如下所示的向量，Richard教授会在接下来带领我们学习。

以上是本堂课的笔记，欢迎大家留言，这部分对NLP的应用介绍更详细的资料，请参考：

一文了解自然语言处理的每个范畴用到的核心技术，难点和热点(1)

NLP入门：CNN,RNN应用文本分类，个性化搜索，苹果和乔布斯关系抽取(2)

下一代信息服务新风口：以自然语言为基本输入方式的问答系统综述(附两篇论文)

一文梳理NLP之机器翻译和自动摘要的发展现状

小编对所推文章分类整理，欢迎后台回复数字，查找感兴趣的文章： 1. 排序算法

2. 图算法(含树)

3. 动态规划

4. LeetCode

5. Python

6. 数据处理三剑客 7. 数学知识

8. 数据预处理

9. 机器学习算法实例大全 10. 深度学习

11. Tensorflow

12. 自然语言处理 13. 上海沙龙

如果文章对您有帮助，欢迎点赞、转发。你的支持=彼此的进步