循环神经网络（Recurrent Neural Networks）简介

导语： 循环神经网络（Recurrent Neural Networks）是目前非常流行的神经网络模型，在自然语言处理的很多任务中已经展示出卓越的效果。但是在介绍 RNN 的诸多文章中，通常都是介绍 RNN 的使用方法和实战效果，很少有文章会介绍关于该神经网络的训练过程。本文将会使用传统的后向传播算法（Back Propagation）来训练 RNN 模型。

循环神经网络（Recurrent Neural Networks）是目前非常流行的神经网络模型，在自然语言处理的很多任务中已经展示出卓越的效果。但是在介绍 RNN 的诸多文章中，通常都是介绍 RNN 的使用方法和实战效果，很少有文章会介绍关于该神经网络的训练过程。

循环神经网络是一个在时间上传递的神经网络，网络的深度就是时间的长度。该神经网络是专门用来处理时间序列问题的，能够提取时间序列的信息。如果是前向神经网络，每一层的神经元信号只能够向下一层传播，样本的处理在时刻上是独立的。对于循环神经网络而言，神经元在这个时刻的输出可以直接影响下一个时间点的输入，因此该神经网络能够处理时间序列方面的问题。

本文将会从数学的角度展开关于循环神经网络的使用方法和训练过程，在本文中，会假定读者已经掌握数学分析中的导数，偏导数，链式法则，梯度下降法等基础内容。本文将会使用传统的后向传播算法（Back Propagation）来训练 RNN 模型。

[1509431251678_5643_1509431300604.png]

[1509431270486_3232_1509431319368.png]

[1509431281952_4681_1509431330832.png]

[1509431292949_4191_1509431342017.png]

[1509431305462_9730_1509431354429.png]

[1509431319138_3337_1509431368080.png]

[1509431330236_5781_1509431379234.png]

[1509431342070_9774_1509431390948.png]

[1509431352750_9925_1509431401770.png]

[1509431368190_5489_1509431417160.png]

[1509431379685_4591_1509431428675.png]

[1509431391175_4571_1509431440128.png]

[1509431402449_7211_1509431451330.png]

[1509431413824_6225_1509431462896.png]

[1509431425436_6046_1509431474372.png]

[1509431436246_4701_1509431485202.png]

[1509431447067_1045_1509431496025.png]

[1509431458404_8208_1509431507341.png]

[1509431469119_8091_1509431518078.png]

[1509431480016_9246_1509431528957.png]

[1509431490509_488_1509431539426.png]

[1509431501430_182_1509431550400.png]

[1509431512774_825_1509431561754.png]

[1509431523859_5944_1509431572806.png]

[1509431536497_4176_1509431585456.png]

[1509431546885_3670_1509431595769.png]

[1509431560277_3063_1509431609206.png]

[1509431572176_7912_1509431621053.png]