学习资料参考:从深度学习到自然语言处理

注意:本文已经更新,新版结合深度学习简介和发展历程,给出了更详尽的学习资料参考。新版链接:深度学习简介与学习资料参考(http://peteryuan.net/deep-learning-intro/)

本文主要介绍一些与神经网络和自然语言处理相关的经典教程、资料,以便初学者能有个比较清晰的学习参考。

从机器学习到深度学习

深度学习脱胎于神经网络,而神经网络又是一种机器学习的经典算法。因此,如果希望从理论上更深刻地掌握深度学习,建议了解相关的机器学习知识。

机器学习

Andrew Ng.(吴恩达)的机器学习教程

机器学习入门方面,Ng的教程应该算是比较经典的资料了。网上有两种版本的课程资料:

1、Stanford CS229 Machine Learning (http://cs229.stanford.edu/)来自Stanford官网,其中materials(http://cs229.stanford.edu/materials.html)部分有详细的课件可以学习参考。

2、Coursera 机器学习(https://www.coursera.org/learn/machine-learning) Ng教程的Coursera版本,如果习惯Coursera的学习模式的话,可以采用该教程学习。此外,网易公开课也有机器学习(http://open.163.com/special/opencourse/machinelearning.html)的课程,一共20集,均有中文翻译的字幕。

为了与后续的神经网络、深度学习等知识进一步衔接,建议在学习机器学习时,重点关注这些知识点:

机器学习基本概念(模型 -> 训练 -> 测试) 有监督学习与无监督学习 Linear Regression与Softmax Regression 目标函数的概念,如何训练一个模型 梯度下降等优化算法 过拟合与欠拟合的理解 模型的约束与正则(Regularization)

深度学习

尽管深度学习现在已涌现出多样的模型,但其最基础的模型DNN(Deep Neural Network)则脱胎于神经网络中的MLP(Multi-Layer Perceptron)模型。在学习深度学习相关内容时,建议先粗略了解下神经网络的发展历史,所谓的三起三落,对于每次的兴起或是衰落,如果能清楚地知道其兴衰原因,就能对神经网络与深度学习有个宏观的了解,便于迅速把握其脉络。

首先推荐两个深度学习入门的博客:

1、Deep learning学习笔记整理 (http://blog.csdn.net/zouxy09/article/details/8775360)这篇文章比较详细地介绍了神经网络到深度学习的背景知识,特别是从特征学习这个角度讲到了深度学习的重要意义。文中也涉及到不少常见的深度学习模型,这部分简要了解即可。

2、神经网络浅讲:从神经元到深度学习(http://www.open-open.com/lib/view/open1452752687042.html) 这篇文章侧重于从神经网络历史发展的角度,简述了神经网络与深度学习相关的内容。

下面介绍几个比较经典的深度学习教程:

Neural Networks and Deep Learning (Michael Nielsen)

这个资料可以作为神经网络/深度学习的极佳入门资料。因为其中有不少动画演示,目前暂时只能在网页端查看,作者本人也表示并没有出pdf等版本的打算。该教程以图像领域经典的mnist手写数字识别任务为例,几乎是从零开始,介绍了神经网络与深度学习中很重要的一些基本概念。该教程的主要内容如下:

1) Using neural nets to recognize handwritten digits 2) How the backpropagation algorithm works 3) Improving the way neural networks learn 4) A visual proof that neural nets can compute any function 5) Why are deep neural networks hard to train? 6) Deep learning

个人觉得,该教程的主要亮点在于,不依赖任何第三方机器学习的库(仅使用了numpy),一步步搭建起深度学习网络模型,对BP(反向传播)算法做了比较详细的阐释和推导,并且利用case study描述了为什么神经网络可以从理论上去逼近任何一个函数(但并不是数学意义上的证明)。

由于该教程立足于入门,因此仅介绍了DNN,并没有介绍深度学习其他众多的模型,现在经常使用的ReLU激活函数、dropout技术等都没有介绍。实现上,也没有采用向量化实现(这会严重影响程序执行效率)。但这并不妨碍该教程成为一个经典的入门材料。学习时,建议按照该教程思路,能够自己将神经网络实现一遍。

前几天重新看了下这个教程,发现作者已经加入了关于ReLU, dropout, Theano等不少新的内容,力荐这个教程啊!以及,众网友们合作出了该教程的LaTeX中文版pdf,可以从这里(https://github.com/zhanggyb/nndl/releases)下载。

Stanford UFLDL(Unsupervised Feature Learning and Deep Learning)教程

这个教程从名字上就强调了深度学习的重要意义——特征学习。该教程作者也是Andrew Ng,如果从Ng的机器学习教程入手,再学习该教程会有比较好的连贯性。教程在Stanford官网有个主页,如主页所述,教程有新版,旧版的英文版和中文版。新版相对于旧版,在知识架构了做了比较大的改动,但具体到详细的知识点,差别不是太大。

Deep Learning Tutorials

Deep Learning Tutorials(http://deeplearning.net/tutorial/)教程是Bengio团队LISA lab维护的一个深度学习教程。该教程最大的特色是,使用基于theano工具,将教程中的各个模型均实现了一遍,因此很适合详细地去了解每个模型的细节。实际上,theano工具便是该团队开发的。学习该教程时,建议按照如下的顺序(教程主页已经有阅读顺序的建议):

[重要] Machine Learning, Deep Learning and Theano basics [重要] Logistic Regression -> MLP (Multi-Layer Perceptron) -> Deep CNN (Convolutional Networks) Auto Encoders -> Stacked DAE (Denoising Autoencoders) RBM (Restricted Boltzmann Machines) -> DBN (Deep Belief Networks) Other Models

以上是几个比较经典的深度学习教程。如果希望系统地按照课程学习方式来学习相关知识,可以参考Deep Learning大牛Hinton老师的Coursera课程Neural Networks for Machine Learning(https://link.jianshu.com/?t=https://www.coursera.org/course/neuralnets)。值得注意的是,如果仅是服务于个人的研究工作的话,里面涉及到的模型不必面面俱到,比如Restricted Boltzmann Machines现在使用的已经不是太广泛了。06年导致Deep Learning火起来的unsupervised layer-wise pre-training方法,也往往可以用良好的初值选取策略、ReLU和dropout等技术来替代(但并不完全等价)。

自然语言处理

应当说,Deep Learning最早是在图像和语音领域火起来的,但近些年的研究也逐渐发现,Deep Learning在NLP (Natural Languang Processing)领域也开始取得可喜的效果。实际上,图像、语音、文本,本来就是信息记载的不同载体,Deep Learning能综合运用在这些领域的不同任务上,不足为怪。这里引用下Deep Learning Tutorials中的一句话:

Deep Learning is about learning multiple levels of representation and abstraction that help to make sense of data such as images, sound, and text.

重要部分我已经加粗显示了。

实际上,在使用神经网络技术之前,NLP的研究经历了从规则到统计的过程。这段有趣的历史可以参考吴军博士的《数学之美》中的前7章内容。在学习Deep Learning应用于NLP之前,建议先了解下简单的统计语言模型的知识,包括语言模型、n-gram、VSM (Vector Space Model)和One-Hot等基本概念。关于统计语言模型,可以参考我们是这样理解语言的-统计语言模型(http://www.flickering.cn/nlp/2015/02/%E6%88%91%E4%BB%AC%E6%98%AF%E8%BF%99%E6%A0%B7%E7%90%86%E8%A7%A3%E8%AF%AD%E8%A8%80%E7%9A%84-2%E7%BB%9F%E8%AE%A1%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/)这篇文章。

Deep Learning for NLP课程推荐:

Stanford University CS224d: Deep Learning for Natural Language Processing

CS224d是专门介绍Deep Learning for NLP的课程,从基本的语言模型、词的向量表示开始,介绍了深度学习的相关知识,以及在NLP中常见的模型。目前而言,在NLP中常见的模型包括CNN、Recursive NN和Recurrent NN模型,尤以卷积、循环网络居多。

词嵌入

DL应用于NLP,最激动人心的成果当属词嵌入(Word Embeddings)概念的产生了。简单来说,就是用一个低维、稠密的向量来表示一个word,这种表示是通过神经网络语言模型学习而来的。当得到这些词向量之后,研究者发现它有着很好的特定,比如蕴含语义特征(man-woman $\approx$ king-queen),用这些词向量代替原来的特征,可以在各种任务中取得state of art的效果,等等。

此外,词向量的获取往往依赖于语言模型,因此便产生了神经网络语言模型的概念。从2001/2003年Bengio的工作开始,有不少基于神经网络的语言模型已被提出,也产生了不少开源工具来产生词向量,如word2vec与GloVe等。

详细知识点不再展开,推荐相关教程、资料如下:

1、Deep Learning, NLP, and Representations(http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/) 来自colah's blog,简要概述了DL应用于NLP的研究,重点介绍了Word Embeddings,网上可找到该文的中文版。

2、Deep Learning in NLP (一)词向量和语言模型 (http://licstar.net/archives/328)总结了词向量和常见的几种神经网络语言模型。

3、我们是这样理解语言的-3神经网络语言模型(http://www.flickering.cn/nlp/2015/03/%E6%88%91%E4%BB%AC%E6%98%AF%E8%BF%99%E6%A0%B7%E7%90%86%E8%A7%A3%E8%AF%AD%E8%A8%80%E7%9A%84-3%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/) 与上一文章类似,可参考阅读。

语义组合

在获取词向量之后,我们得到了word的向量式表示,因此下一个很自然的问题是,如果利用这些word是表示,获取更高层次概念(如phrase, sentence, document)的表示,这其中涉及的概念即为语义组合(Semantic Composition)。

目前,常见的语义组合方法可以分为以下4类:

1、简单的加权组合 如直接拼接、平均或weighted sum等。

2、卷积神经网络(CNN) 可参考Understanding Convolutional Neural Networks for NLP(http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/)这篇文章学习了解。

3、递归神经网络(Recursive NN) 借助语法树等树状结构,Richard Socher等人的研究为主。

4、循环神经网络(Recurrent NN) 借助有记忆单元的神经元结点保存历史(或未来)的信息,常用的模型是LSTM (Long Short Term Memory)与GRU (Gated Recurrent Unit)。相比于CNN等模型,LSTM与GRU的学习可能稍微难一点,可以参考知乎-有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程。

上面的这些模型在CS224d课程中也均有比较详细的介绍。

总结来说,如果希望比较详细地了解神经网络、深度学习的细节,还是需要不少学习的。现在很多第三方的库(如Caffe、Theano、Keras、Lasagne、TensorFlow等)使得许多深度学习模型可以快速实现,但这些库往往屏蔽了诸多算法的细节(如BP、Gradient Descent、AdaDelta等),如果希望进一步做一些比较深入的工作,对相关模型的深入了解还是必不可少的。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-12-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

纽约大学联合谷歌大脑提出「COG」数据集,可提高系统的「视觉推理」能力

【新智元导读】在认知心理学和神经科学中丰富的视觉推理和记忆传统的启发下,我们开发了一个人工的、可配置的视觉问题和答案数据集(COG),用于在人类和动物中进行平行...

30911
来自专栏人工智能

深度学习的局限性

本文改编自我的书"Deep Learning with Python(用Python深度学习)"中第9章第2节( Manning Publications 出版...

39811
来自专栏CreateAMind

Sensorimotor Robot Policy Training using RL(ref163篇 90页) 笔记 超长

994
来自专栏量子位

图像风格迁移(Neural Style)简史

作者:李嘉铭 Northwestern University | CS 量子位 已获授权编辑发布 面向读者:没有或有一定机器学习经验并对Prisma之类的app...

3617
来自专栏AI研习社

Prisma 技术发展的前世今生

面向读者:没有或有一定机器学习经验并对 Prisma 之类的 app 背后的原理感兴趣的读者。比较有经验的读者可以直接参照科技树阅读文章末罗列的引用论文。 阅读...

3377
来自专栏数据科学与人工智能

【陆勤践行】机器学习分类器选择

你知道如何为你的分类问题选择合适的机器学习算法吗?当然,如果你真正关心准确率,那么最佳方法是测试各种不同的算法(同时还要确保对每个算法测试不同参数),然后通过交...

19210
来自专栏AI科技大本营的专栏

一篇文章搞懂图像风格迁移(Neural Style)的历史变迁

作者 | 李嘉铭 面向读者:没有或有一定机器学习经验并对Prisma之类的app背后的原理感兴趣的读者。比较有经验的读者可以直接参照科技树阅读文章末罗列的引用论...

2666
来自专栏大数据文摘

机器学习算法一览

23214
来自专栏专知

【ICLR2018 最高分论文】利用分布鲁棒优化方法应对对抗样本干扰

【导读】近日,深度学习顶会ICLR2018评审结果出炉,得分最高的论文是 《Certifiable Distributional Robustness with...

3095
来自专栏机器之心

干货 | 物体检测算法全概述:从传统检测方法到深度神经网络框架

机器之心转载 公众号:阅面科技(ID:readsense) 作者:童志军 物体检测一向是比较热门的研究方向,它经历了传统的人工设计特征+浅层分类器的框架,到基于...

3337

扫描关注云+社区