GRU网络

前言

GRU网络是LSTM的简化版本，2014年被提出。

1.简介

RNN处理不了太长的序列，因为随着序列变长，时间步展开变长，很容易造成梯度消失以及梯度爆炸的问题。另一方面，在一个序列中，不是所有的信息都是同等重要的，加入能关注的机制(更新门:关注重要信息)以及能遗忘的机制(重置门:遗忘一些不重要的信息)是很重要的，可以提高网络的性能。

2.门是什么

GRU中的门，与隐藏状态ht的维度相同，甚至计算方法也是一样的，不过激活函数使用Sigmoid，将数值控制在0-1之间，用来与上一时刻的记忆体点乘，控制上一时刻记忆遗忘与保存的多少。

3.GRU网络计算过程

我的博客即将同步至腾讯云开发者社区，邀请大家一同入驻：https://cloud.tencent.com/developer/support-plan?invite_code=2gail93l8mf4s