LSTM

门控RNN要做的事情就是让神经网络学会决定何时清除状态，而不是手动决定。

引入自循环的巧妙思想，以产生梯度长时间持续流动的路径是初始长短期记忆（long short-term memory，LSTM）模型的核心贡献。其中一个关键扩展是自循环的权重视上下文而定，而不是固定的。门控此自循环（由另一个隐藏单元控制）的权重，累积的时间尺度可以动态地改变。在这种情况下，即使是具有固定参数的LSTM，累积的时间尺度也可以因输入序列而改变，因为时间常数是模型本身的输出。LSTM在无约束手写识别、语音识别、手写生成、机器翻译、为图像生成标题和解析中成功应用。

LSTM可以学习长期以来信息。通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是LSTM的默认行为，而不需要付出很大代价才能获得。

LSTM是这样的结构，但是重复的模块拥有一个不同的结构，不同于单一神经网络，这里有四个，以一种非常特殊的方式进行交互。LSTM拥有三个门结构的特殊网络结构。：

LSTM靠一些门的结构让信息有选择性地影响RNN中每个时刻的状态，所谓门结构就是一个实用sigmoid神经网络和一个按位做乘法的操作，这两个操作结合在一起就是一个门结构。该结构会使用sigmoid作为激活函数的全连接神经网络层会输出一个0到1之间的值，描述当前输入有多少信息量可以通过这个结构。于是这个结构的功能就类似于一扇门，当门打开时（sigmoid输出1），全部信息都可以通过，当门关上时（sigmoid输出为0），任何信息都无法通过。

输入门：

i_t=\sigma (W_{i}\cdot [h_{t-1},x_t]+b_i)

遗忘门：

f_t=\sigma (W_{f}\cdot [h_{t-1},x_t]+b_f)

候选记忆单元：

\tilde{C}_t=tanh(W_C\cdot [h_{t-1},x_t]+b_c)

当前时刻记忆单元：

C_t=f_t*C_{t-1}+i_t*\tilde{C}_t

输出门：

o_t=\sigma (W_o[h_{t-1},x_t]+b_o)

输出：

h_t=o_t*tanh(C_t)

参考：

1. 《深度学习》
2. LSTM原理及实现