【干货】GRU神经网络

前用的最多的三种神经网络是CNN，LSTM，GRU。其中，后两者都是RNN的变种，去年又给RNN发明了个SRU（优点是train RNN as fast as CNN）,SRU以后再讲，目前先消化了这个GRU再说。

GRU，Gated Recurrent Unit，门控循环单元。意思大概理解就是在RNN上多加了几个门，目的和LSTM基本一样，为了加强RNN神经网络的记忆能力。

我们先来回忆下最初的SimpleRNN

其中a是记忆单元，g是激活函数，x是输入，b偏执bias，t是时间点。

画图就是这样的：

比如下面的一个机器翻译的例子。

单数cat和was相聚甚远，如果考虑到SimpleRNN的长时间记忆会导致梯度消失的重大问题，有些人就在论文中提出了 GRU (Simplified)简化版。

首先，GRU的记忆单元是C

（也就是说上面的simpleRNN的a的功能给了C，主要是为了和LSTM区别开）

进入单元后，将用C~代替C：

重点来了，GRU的真正重要的思想是有一个

gamma u门，这个是希腊文，你看这个多像门呀，u代表update更新的意思，可以说这个是更新门。

因为

要设置在0-1之间，所以用的是sigmoid激活函数。实际中，

经常非常接近0或1。

我们假设cat，用一个bit记录这个特征，单数设为1，复数的话设为0。(真正网络中会有自己独特的特征记法)

我们希望这个记忆单元C=1能一直保留到was那里，如

即使不是1，实际上也不可能不变是1的，但是只要和1别差距太大就行。其他的特征让C中用其他的参数记录就行，别影响我cat的就行。

那么怎么才能保证cat的特征单元不变呢？这就用到下一个门了：

看上面的公式，我们想，怎么才能让C_t依然等于C_t-1时刻呢？那么就是

等于0的时候(这个肯定是理想情况了)

这个时候时间到了was这里时，C中还记着cat单数的事呢。而实际上，

是个负很大的数，也就是经过sigmoid后接近0了。所以，上述的情况是可以的。

到这里，这个简化版的GRU基本讲完了，看看可视化单元：

公式为：

是不是也看到简化俩字了？

是的没错，经过研究者的不断探究，终于研究出来一种适合几乎各种研究实验的新型GRU网络是这样的：

这个GRU可以经过经过更加深度的训练而保持强壮记忆力！

这里的第一个公式：

gamma r的这个r可以表示为relevance相关性，也就是新的t时刻的记忆单元C~和t-1时刻的记忆单元C的相关性。

而这个

是什么矩阵呢？刚好第三个式子

解释了

的意思，其中W_r是新的参数。

好啦，这里就真的讲完了。

以上来自自己学习Andrew课程的笔记。