理解LSTM中的各种阀

理解LSTM中的各种阀

但是当你看一个神经网络时,它的功能就像一个黑盒子。从一侧输入一些输入,从另一侧接收一些输出。它做出的决定主要基于当前的输入。

乍一看,这看起来令人生畏。让我们忽略内部结构,只看一下单元的输入和输出。网络需要三个输入。X_t是当前时间步的输入。h_t-1是前一个LSTM单元的输出,C_t-1是前一个单元的"存储器",我认为这是最重要的输入。至于输出,h_t是当前网络的输出。C_t是当前单位的内存(记忆)。

它的内部记忆C_t改变的方式非常类似于通过管道输送水。假设记忆是水,它会流入管道。我们希望沿途更改此内存流量,此更改由两个阀门控制。

第一个阀叫做忘记阀。如果你关闭它,将不会保留旧的记忆。如果你完全打开这个阀门,所有旧的记忆都会通过。

第二个阀门是新的记忆阀。新记忆将通过如上所述的T形关节进入管道并与旧记忆合并。管道需要控制多少新记忆应该由第二个阀门控制。

关于记忆的两个步骤:

现在来看忘记阀是怎么实现的。它由简单的单层神经网络控制。

汇合阀,同样,它是一个单层简单的神经网络,它与忘记阀门具有相同的输入。

图中标出的红色是忘记阀,紫色是汇合阀(新的记忆阀)。

输出阀,我们需要为此LSTM单元生成输出。其由新记忆、先前输出h_t-1,、输入X_t和偏置矢量控制。

在这里,使用第一个图表中相同的符号和颜色来重绘上面的图表:

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181109A0OPXN00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券