整理并翻译自吴恩达深度学习系列视频:序列模型第一周,有所详略。
Gated Recurrent Unit(GRU), which is a modification to the RNN hidden layer that makes it much better at capturing long range connections and helps a lot with the vanishing gradient problem.
标准的RNN结构面临着2个很严重的问题。一是梯度消失和梯度爆炸;二是计算某个y^<t>\hat{y}^{<t>}y^<t>时,只用到了前面的输入,尤其是是靠近y^<t>\hat{y}^{<t>}y^<t>的输入,非常靠前的输入和后面的输入对结果产生的影响微乎其微。
第一个问题非常好理解,与CNN相同,当网络很深时,反向传播就很难从后向前对网络的前几层在计算序列上产生影响,越往前计算出的导数越小直至0,这是很直观的梯度消失问题。偶尔也会遇到梯度爆炸的问题,即计算出的导数越来越大。这是基本RNN结构的缺点。
第二个问题,在判断"Cat eat a lot of things,…, which was full."和"Cats eat a lot of things,…,which were full."两个句子的which后面到底应该跟单数还是复数形式时,显然需要考虑到第一个单词是cat还是cats,但是由于输出which后的单词时,普通的RNN结构很难保留第一个单词产生的影响在此时发挥作用,因此引入了GRU单元或LTSM单元来解决这个问题。
在对"He saidHe said, “Teddy bears are on sale!” "和"He said, “Teddy Roosevelt was a great President!”"做命名实体判别时,需要知道Teddy后一个单词是什么,普通的RNN结构显然没有这种能力,因此引入了双向循环网络解决这一问题。
这篇文章仅介绍GRU,LTSM和双向神经网络参见:
Long Short term memory unit(LSTM)
普通的RNN unit如上图所示,一个简化了的GRU unit如下图所示:
GRU里首先引入了一个新的变量C作为memory cell使用,即保留一些前面的层中的某些有价值的信息。
GRU里的Gated是指我们引入了门控,即使用Γu\Gamma_uΓu来决定我们是否使用当前层计算出的C~<t>\tilde{C}^{<t>}C~<t>来更新C。
C<t>=a<t>C^{<t>}=a^{<t>}C<t>=a<t>
C~<t>=tanh(WcC<t−1>,x<t>+bc)\tilde{C}^{<t>}=tanh(W_cC^{<t-1>}, x^{<t>}+b_c)C~<t>=tanh(WcC<t−1>,x<t>+bc)
Γu=σ(WuC<t−1>,x<t>+bu)\Gamma_u=\sigma(W_uC^{<t-1>}, x^{<t>}+b_u)Γu=σ(WuC<t−1>,x<t>+bu)
C<t>=Γu∗C~<t>+(1−Γu)∗C<t−1>C{<t>}=\Gamma_u*\tilde{C}^{<t>}+(1-\Gamma_u)*C^{<t-1>}C<t>=Γu∗C~<t>+(1−Γu)∗C<t−1>
门控值Γu=1\Gamma_u=1Γu=1时,用的是新的值C~\tilde{C}C~;门控值Γu=0\Gamma_u=0Γu=0时,用的是前一层的值C<t−1>C^{<t-1>}C<t−1>
完整的GRU计算公式如下:
C~<t>=tanh(Γr∗WcC<t−1>,x<t>+bc)\tilde{C}^{<t>}=tanh(\Gamma_r*W_cC^{<t-1>}, x^{<t>}+b_c)C~<t>=tanh(Γr∗WcC<t−1>,x<t>+bc)
Γu=σ(WuC<t−1>,x<t>+bu)\Gamma_u=\sigma(W_uC^{<t-1>}, x^{<t>}+b_u)Γu=σ(WuC<t−1>,x<t>+bu)
Γr=σ(WrC<t−1>,x<t>+br)\Gamma_r=\sigma(W_rC^{<t-1>}, x^{<t>}+b_r)Γr=σ(WrC<t−1>,x<t>+br)
C<t>=ΓuC~<t>+(1−Γu)C<t−1>C{<t>}=\Gamma_u\tilde{C}^{<t>}+(1-\Gamma_u)C^{<t-1>}C<t>=ΓuC~<t>+(1−Γu)C<t−1>
注意,这里引入了第二个门控值Γr\Gamma_rΓr来衡量C~<t>\tilde{C}^{<t>}C~<t>和C<t−1>{C}^{<t-1>}C<t−1>之间的相关程度,计算该值使用了与Γu\Gamma_uΓu不同的参数矩阵。除此之外,在计算C~<t>\tilde{C}^{<t>}C~<t>也使用了Γr\Gamma_rΓr。