深度学习入门笔记系列 ( 七 ) ——循环神经网络（RNN）学习笔记

循环神经网络（RNN）学习笔记

本系列将分为 8 篇 。本次为第 7 篇 ，简单的介绍下循环神经网络 。

1.引言

在传统的神经网络模型中 ，是从输入层到隐含层再到输出层 ，层与层之间是全连接的 ，每层之间的节点是无连接的 。但是这种普通的神经网络对于很多问题却无能无力 。例如 ，你要预测句子的下一个单词是什么 ，一般需要用到前面的单词 ，因为一个句子中前后单词并不是独立的 。于是乎 ，我们就名正言顺的引出了这篇文章的 RNN 。

2.什么是RNN

RNN（Recurrent Neural Networks）翻译为循环神经网路 ，与传统神经网络模型对比 ，RNN 一个序列当前的输出与前面的输出也有关 。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中 。重点的讲就是 ，隐藏层之间的节点之间是有连接的 ，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出 。

例如上图 ，中间A表示隐含层 ，能够看出来从左到右的序列中 ，隐含层输入不仅包括输入层还有上一个序列的隐含层输出 。

3.RNN 能干些啥

理论上 ，RNN 能够对任何长度的序列数据进行处理 。但是在实践中 ，为了降低复杂性往往假设当前的状态只与前面的几个状态相关 ，下图便是一个典型的RNN ：

坦白讲 ，小詹对 RNN 只知道基础概念 ，用的很少很少 。因为个人感觉 RNN 更多的应用到 NLP 即自然语言处理中 ，如如词向量表达 、语句合法性检查 、词性标注 。与之相对的 ，在计算机视觉领域 ，可能 CNN 及其变种使用的更为频繁 ，但是 RNN 也并非无用武之地 。

RNN 可以应用的领域大致有 ：

1. 语言模型与文本生成(Language Modeling and Generating Text)
2. 机器翻译(Machine Translation)
3. 语音识别(Speech Recognition)
4. 图像描述生成 (Generating Image Descriptions)

4.LSTM网络

和 CNN 一样 ，基础的 RNN 网络也存在很多改进和拓展 ，相信大家听到比较多的是 LSTM（Long Short Term Memory）。

它与一般的 RNN 结构本质上并没有什么不同 ，只是使用了不同的函数去去计算隐藏层的状态 。在 LSTM 中 ，i 结构被称为 cells ，可以把 cells 看作是黑盒用以保存当前输入 xt 之前的保存的状态 ht−1 ，这些 cells 更加一定的条件决定哪些 cell 抑制哪些 cell 兴奋 。它们结合前面的状态 、当前的记忆与当前的输入 。已经证明 ，该网络结构在对长序列依赖问题中非常有效 。