RNN & LSTM
原创
RNN
所有的RNN均具有一种重复神经网络模块的链式形式，在标准的RNN中，通常重复模块是一个非常简单的结构，eg：只含有一个tanh层。
标准RNN中的重复模块一般结构较单一
LSTM
LSTM同样是重复链式结构，但是模块内部拥有不同的结构。
LSTM中的重复模块包含四个交互层
LSTM第一步——忘记门：决定要从细胞状态中丢弃什么信息。
读取h_{t-1} 和x_t ，通过sigmoid函数输出一个0-1之间的数值给每个在细胞状态C_{t-1} 中的数字，1表示”完全保留“，0表示”完全舍弃“。
决定要丢弃的信息
LSTM第二步：决定将什么样的新信息存放在细胞状态中。
sigmoid层筛选出需要更新的信息，tanh创建新的候选值向量，二者结合对状态进行更新。
确定更新信息
LSTM第三步：更新旧的细胞状态，即将C_{t-1} 更新为C_{t} 。
根据目标，丢弃不需要的旧信息，并添加相应的新信息。
更新细胞状态
LSTM第四步：最终确定要输出的值。
最终确定细胞状态的哪个部分将被输出出去。
输出信息
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
腾讯云开发者
