专栏首页share ai happiness动态图解释 RNN、LSTM和GRU

动态图解释 RNN、LSTM和GRU

本文将从以下两个方面介绍:

  1. 什么是RNN
  2. 为什么需要RNN
  3. 常用的RNN网络结构

RNN是什么?

循环神经网络(Recurrent Neural Network, RNN),RNN常用来处理序列式问题,以序列数据为输入来进行建模的深度学习模型,RNN是NLP中最常用的模型。双向循环神经网络(Bidirectional RNN, Bi-RNN)和长短期记忆网络(Long Short-Term Memory networks,LSTM)是RNN常见的的循环神经网络。

为什么需要RNN?

打个比方,当我们在理解一句话意思时,孤立的理解这句话的每个词是不够的,我们需要处理这些词连接起来的整个序列; 当我们处理视频的时候,我们也不能只单独的去分析每一帧,而要分析这些帧连接起来的整个序列。

单独的取处理一个个的输入,前一个输入和后一个输入是完全没有关系的。但是,某些任务需要能够更好的处理序列的信息,即前面的输入和后面的输入是有关系的。

输入:

我 吃 苹果 (已经分词好的句子)

输出:

我/nn 吃/v 苹果/nn(词性标注好的句子)

很明显,一个句子中,前一个单词其实对于当前单词的词性预测是有很大影响的,比如预测苹果的时候,由于前面的吃是一个动词,那么很显然苹果作为名词的概率就会远大于动词的概率,因为动词后面接名词很常见,而动词后面接动词很少见。

所以为了解决一些这样类似的问题,能够更好的处理序列的信息,RNN就诞生了。

常用的RNN网络结构有哪些?

  • vanilla RNN
  • long short-term memory (LSTM)
  • gated recurrent units (GRU)

动画展示的是在某个时刻(indexed by t)RNN cell 内部的处理,示例中input size=3,hidden units =2,batch size=1。

Vanilla RNN

  • t--time step
  • X--input
  • h--hidden state
  • length of X--dimension of input
  • length of h--no. of hidden units

LSTM

  • C--cell state

GRU

本文分享自微信公众号 - 1001次重燃(smile765999),作者:木野归郎

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-07-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 深度学习那些事 — 反向传播

    这部分是深度学习的重点,掌握了反向传播算法就相当于掌握了一半的神经网络算法。其实就是将损失函数产生的误差通过边进行反向传播往回传播的过程,传播的过程当中会得到每...

    木野归郎
  • HTTP和HTTPS的那些事

    HTTPS 在 HTTP 与 TCP 层之间加入了 SSL/TLS 协议,可以很好的解决了上述的风险:

    木野归郎
  • 深度学习那些事 — 激活函数

    这篇文章介绍激活函数,之所以将激活函数单独拿出来进行介绍,因为多层感知机在刚开始发展的时候,梯度会消失,所以它梯度不会太深,训练不了太深的参数,其实最核心的问题...

    木野归郎
  • RNN循环神经网络之通俗理解!

    循环神经网络RecurrentNeural Network (RNN),是一个拥有对时间序列显示建模能力的神经网络。RNN相对于传统前馈神经网络的“循环”之处具...

    智能算法
  • 深度学习算法(第20期)----创意RNN和深度RNN的简单实现

    上期我们一起学习了如何训练RNN并预测时序信号, 深度学习算法(第19期)----RNN如何训练并预测时序信号? 今天我们一起简单学习下创意RNN和深度RNN的...

    智能算法
  • 循环神经网络教程第一部分-RNN简介

    作者:徐志强 链接:https://zhuanlan.zhihu.com/p/22266022 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业...

    bear_fish
  • [深度学习] 我理解的循环神经网络RNN

    本来今天在写毕业论文,就不打算更新了,但是写毕业论文挺痛苦的,因为我发现毕业论文的文字不能像公众号这样比较随意,随意的文字不是说不严谨,而是为了便于大家理解,这...

    用户1622570
  • 【深度学习创作】用《权力的游戏》前五部训练RNN生成第六部(原理解析)

    【新智元导读】 近日,一位名叫Zack Thoutt的工程师在开源社区Github上发起了这样一个项目:基于《冰与火之歌》前面五部作品,训练RNN(循环神经网络...

    新智元
  • 尼玛,Github上最“邪恶”的开源项目了!女孩子勿进哦~

    Google在人工智能领域的研究成果都快数不清了,有虐哭柯洁的AlphaGo,有随叫随到的Google Assistant智能助理,还有了能一眼看穿你画的是啥的...

    小林C语言
  • 深度学习中的参数梯度推导(四):vanilla RNN的前传与反传

    在前面我们讲到了DNN,以及DNN的特例CNN的模型和前向反向传播算法,这些算法都是前向反馈的,模型的输出和模型本身没有关联关系。今天我们就讨论另一类输出和模型...

    灯塔大数据

扫码关注云+社区

领取腾讯云代金券