直觉理解LSTM和GRU

Q

网上有很多对于LSTM以及GRU的介绍,主要从构造方面进行了进行了介绍。但是由于构造相对较复杂,而且涉及到的变量较多,往往不那么容易记住。下面我们从直觉的角度来对这两者进行介绍,方便理解和记忆。其中的更深刻的理论原理,可以参看相关的文章和论文。

LSTM

对于LSTM的经常被提到的一篇文章就是 理解LSTM 。我们也基于此进行介绍。

首先, LSTM最常见到的结构如下图:

每个矩形称之为一个Unit。每个Unit有两个输入和两个输出:C 和 h。其中, C是Unit或者Cell的信息。这个信息不仅仅包含本unit的信息,还包含了之前所有Unit的信息。这种包含不是全部的包含,而是有所取舍的。这种取舍体现在了该Unit以及其余Unit的构造当中。而h里面包含的,主要是重点用于当前unit的信息,当前这部分的信息会进行输出。也就是说,会影响输出的,主要就是这部分的信息。

C之间信息传递如图。在最上面的一层中,

主要有两步:丢弃一部分信息(对应乘号),加上一部分信息(对应加号)。这样就完成了上面一个Unit信息到本Unit信息的传递了。

那么要丢弃多少,就要由forget门来决定了:

这也是forget门的来历。通过学习,让forget门来学习究竟应该忘掉多少。

那么添加的信息来自哪一部分呢?来自

它分为了两部分:

一部分是生成新信息,也就是

但是这部分新生成的信息要把多少给

, 这个要由

输入门这部分来决定。

这样经过

之后,跟之前保留的信息相加,

的信息就完成了。

但是

还没有完成:还需要搞清楚, 在所有的信息

里面,哪些是我本Unit需要关注,并用于输出的。

这一部分就是:

这个也是分为了两部分:

一部分是根据

生成了信息,但是至于要多少, 让输出门

来决定吧。

GRU

在GRU里面,不再有C和h两部分,而是只用了h。

h同样有一个忘记一部分旧信息、添加一部分新信息的过程,如上面红线圈出的部分。这个忘记、添加跟LSTM有点不同:在LSTM中,忘记和添加的比例是学习来的,两者没什么相关;而在GRU中,这个比例是固定的:忘记了多少比例,那么新的信息就添加多少比例。这个由 (1-)来进行控制。

而新的信息的生成,是由下图中红色部分来标识的。

可以看出

作为update们,控制了忘记和输入。

而新的信息时怎么生成的呢?

由上图中可以看到,这部分是由

共同生成的。但是

并不是用了全部,而是用了一部分。至于这个“一部分”究竟是多少,这个由 reset门

来控制。

隐藏信息和输入信息决定了所有的“门”,通常一个sigmoid称之为一个门,它来控制信息的传递。

本文分享自微信公众号 - 机器学习入门与实战(datanlp)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-03-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Keras 模型中使用预训练的 gensim 词向量和可视化

    在这篇 [在Keras模型中使用预训练的词向量](https://keras-cn.readthedocs.io/en/latest/blog/ word_em...

    大数据技术与机器学习
  • GBDT算法原理与实现,Boosting思想

    GBDT(Gradient Boosting Decision Tree),全名叫梯度提升决策树,使用的是Boosting的思想。

    大数据技术与机器学习
  • ⻓短期记忆LSTM

    在你阅读这篇文章时候,你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃,然后用空白的大脑进行思考。我们的思想拥有...

    大数据技术与机器学习
  • 货币和信息价值是什么,我们将怎样改变其意义?

    全球的经济都已经转变,它现在是信息进行驱动的并不是商品驱动的,这么看来这种抽象的商品价值产生于哪里?目前,全球的经济都已经得到了进展,因为世界在不断的进步,特别...

    用户2965496
  • 47.图标绘制

    hankleo
  • 用一张图画,说一个故事——通过信息图传播信息

    同其他任何优秀的视觉数据一样,信息图能够简化信息。在Google 趋势上,关于关键词“信息图”的搜索数据显示其热度在2008 至2012 年间大幅增长。如下图所...

    博文视点Broadview
  • 信息系统项目管理-信息的基本概念

    信息是一种答观事物,它与材料、能源一样,都是社会的基础资源。但是,理性认识信息却只有几十年的历史。1948年,美国科学家香农(Claude E.Shannon)...

    Altumn
  • 隐私泄漏严重,只通过手机号可能获取你的所有信息

    上面这句话绝不是危言耸听,只要你是一个现代人,需要通过手机来注册一系列的社交软件和网站,那你的身份信息泄露的几率就会非常之高。

    华章科技
  • 什么是信息足迹?

    大数据文摘
  • 什么是信息

    说到这里,我的同事王小妹非常认真且煞有介事地跟我说:“我觉得数字、字母、图像,这些都是数据,跟信息不信息的没啥关系。”看着她认真地跟我抬杠,我觉得蛮好,至少在认...

    刀刀老高

扫码关注云+社区

领取腾讯云代金券