深入浅出LSTM神经网络

【编者按】使用前馈卷积神经网络(convnets)来解决计算机视觉问题,是深度学习最广为人知的成果,但少数公众的注意力已经投入到使用递归神经网络来对时间关系进行建模。而根据深度学习三大牛的阐述,LSTM网络已被证明比传统的RNNs更加有效。本文由加州大学圣迭戈分校(UCSD)研究机器学习理论和应用的博士生Zachary Chase Lipton撰写,用浅显的语言解释了卷积网络的基本知识,并介绍长短期记忆(LSTM)模型。


鉴于深度学习在现实任务中的广泛适用性,它已经吸引了众多技术专家、投资者和非专业人员的关注。尽管深度学习最著名的成果是使用前馈卷积神经网络(convnets)来解决计算机视觉问题,少数公众的注意力已经投入到使用递归神经网络来对时间关系进行建模。

(注:为了帮助你开始体验LSTM递归网络,我附上了一个简单的微实例,预装了numpy、theano和一个Jonathan Raiman的LSTM样例Git克隆)

在最近的文章《学习阅读递归神经网络》中,我解释了为什么尽管前馈网络有难以置信的成功,它们受制于无法明确模拟时间关系,以及所有数据点都是由固定长度的向量组成的假设。在那篇文章的结论部分,我承诺写一篇的文章,解释卷积网络的基本知识,并介绍长短期记忆(LSTM)模型。

首先,介绍一下神经网络的基本知识。一个神经网络可以表示为一个人工神经元的图,或者说节点和有向边,用来对突触建模。每个神经元是一个处理单元,它将连接到它的节点的输出作为输入。在发出输出之前,每个神经元会先应用一个非线性激活函数。正是由于这个激活函数,神经网络具有对非线性关系进行建模的能力。

现在,考虑这个最近的著名论文Playing Atari with Deep Reinforcement Learning,结合convnets和强化学习来训练电脑玩视频游戏。该系统在某些游戏上有超越人类的表现,比如Breakout!,这种游戏在任意时候的合适的策略,都可以通过查看屏幕推断出来。但是,当优化策略是需要在长时间跨度规划时,系统就和人的表现相差甚远,例如太空侵略者(Space Invaders)。

因此,我们引入递归神经网络(RNN),一个赋予神经网络对时间进行显式建模的能力,通过添加跨越时间点的自连接隐藏层。换句话说,隐藏层的反馈,不仅仅进入输出端,而且还进入了下一时间步骤隐藏层。在本文中,我将使用递归网络的一些示意图,从我即将审查的这一主题的文献中摘录。

现在,我们可以通过通过两个时间步来展开这个网络,将连接以无环的形式可视化。注意权重(从输入到隐藏和隐藏到输出)在每个时间步是相同的。递归网络有时被描述为深度网络,其深度不仅仅发生在输入和输出之间,而且还发生在跨时间步,每个时间步可以被认为是一个层。

一旦被展开,这些网络可以使用反向传播,进行端到端的训练。这种跨时间步的反向传播扩展,被称为沿时间反向传播(Backpropagation Through Time)。

然而有一个问题,在Yoshua Bengio经常被引用的论文(Learning Long-Term Dependencies with Gradient Descent is Difficult)中提到,那就是消失的梯度。换句话说,后面时间步的错误信号,往往并不能回到足够远的过去,像更早的时间步一样,去影响网络。这使它很难以学习远距离的影响,比如放过的那只小卒会在12步后回来将你。

补救这一问题的措施是1997年首先被Sepp Hochreiter和Jurgen Schmidhuber提出的长短期记忆(LSTM)模型。在这个模型中,常规的神经元,即一个将S型激活应用于其输入线性组合的单位,被存储单元所代替。每个存储单元是与一个输入门,一个输出门和一个跨越时间步骤无干扰送入自身的内部状态相关联。

在该模型中,对于每个存储单元,三套权重从输入训练而得,包括先前时间步中完整的隐藏状态。一个馈送到输入节点,在上图的底部。一个馈送到输入门,在最右侧的单元格底部显示。另一个馈送到输出门,在顶部最右侧的显示。每个蓝色节点与一个激活函数相关联,典型情况是S型函数,以及表示乘法的Pi节点。单元中最中央的节点称为内部状态,并且以1的权重跨越时间步,反馈回本身。内部状态的自连接边,被称为恒定误差传送带或CEC。

就前传递而言,输入门学习来决定何时让激活传入存储单元,而输出门学习何时让激活传出存储单元。相应的,关于后传递,输出门是在学习何时让错误流入存储单元,而输入门学习何时让它流出存储单元,并传到网络的其余部分。这些模型已被证明在多种多样的手写识别和图像加字幕任务上非常成功。也许得到多一些关爱,它们能在太空侵略者上获胜。

作者介绍:Zachary Chase Lipton is a PhD student in the Computer Science department at UCSD. He researches machine learning theory and applications, and is a contributing editor to KDnuggets.

原文链接Demystifying LSTM Neural Networks 

(翻译/王玮 责编/周建丁)

原文发布于微信公众号 - CSDN技术头条(CSDN_Tech)

原文发表时间:2015-06-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏阮一峰的网络日志

如何识别图像边缘?

图像识别(image recognition)是现在的热门技术。 文字识别、车牌识别、人脸识别都是它的应用。但是,这些都算初级应用,现在的技术已经发展到了这样一...

40990
来自专栏用户2442861的专栏

如何识别图像边缘?

文字识别、车牌识别、人脸识别都是它的应用。但是,这些都算初级应用,现在的技术已经发展到了这样一种地步:计算机可以识别出,这是一张狗的照片,那是一张猫的照片。

17320
来自专栏大数据挖掘DT机器学习

数据挖掘案例:基于 ReliefF和K-means算法的应用

.NET数据挖掘与机器学习 原文:http://www.cnblogs.com/asxinyu/archive/2013/08/29/3289682.html ...

31680
来自专栏机器学习算法与Python学习

Machine Learning -- Bayesian network

链接地址:http://www.dataguru.cn/thread-508373-1-1.html 0 引言 事实上,介绍贝叶斯定理、贝叶斯方法、贝叶斯推断的...

47660
来自专栏杨熹的专栏

怎样做情感分析

本文结构: 什么是情感分析? 怎么分析,技术上如何实现? ---- cs224d Day 7: 项目2-命名实体识别 2016课程地址 项目描述地址 ----...

38950
来自专栏木东居士的专栏

【Andrew Ng 机器学习】Week 1(一):基本概念和线代基础

20420
来自专栏杂七杂八

Doc2vec预测IMDB评论情感

本文内容源自于国外2015年的一篇博客,中文翻译可以在伯乐在线看到。可以整体了解一些word2vec和doc2vec的使用方法,但是由于时间过去很久了,gens...

1K90
来自专栏AI传送门

吊炸天的CNNs,这是我见过最详尽的图解!(上)

90850
来自专栏算法channel

入门解读 seq2seq 和注意力模型

27340
来自专栏Petrichor的专栏

论文阅读: R-CNN

版权声明:转载请注明出处 https://blog.csdn.net/JNingWei/article/details/80189868 ...

16120

扫码关注云+社区

领取腾讯云代金券