【深度学习】UPN分支介绍—深度信念网络基础原理与架构

图像来源(http://www.cognitivetoday.com/wp-content/uploads/2016/10/DCN-600×392.png)

我之前关于深度学习的文章:

1.深度学习基础(https://codeburst.io/deep-learning-what-why-dd77d432f182) 2.深度学习的自动编码器(https://codeburst.io/deep-learning-types-and-autoencoders-a40ee6754663)

今天我们将了解深度信念网络(DBN)一种无监督预训练的网络(UPN)

让我们先定义DBN:

DBN是一类深层神经网络,其包括有向边和无向边的多层图形模型。它由多层隐藏单元组成,每层都相互连接,但单元之间不连接。

要了解深层信念网络,我们需要了解DBN的两个重点:

1.信念网络

2.受限玻尔兹曼机(RBM)

信念网络:

它由随机二进制单元层组成,其中每个连接层都具有一些权重。信念网络中的随机二进制单位具有0或1两张状态,并且变为1的概率由来自其他单元的偏见和加权输入决定。

让我们来看看这个来自(Geoffrey Hinton,cs.toronto.edu)的深度信念网络图

图片来源:Geoffrey Hinton,cs.toronto.edu

(https://www.cs.toronto.edu/~hinton/nipstutorial/nipstut3.pdf)

GEOFFREY HINTON博士这样说:

深度信念网的两个最重要的属性是:

  • 有一个高效而逐层的过程,用于学习自上而下生成的权重,以确定一个层中的变量如何依赖于上个层中的变量。
  • 学习后,每个层面的潜在变量的值可以通过从底层观察数据向量开始的单个自下而上的传递来推断,并在相反方向上使用生成权重。

受限玻尔兹曼机

波尔兹曼机是一种在单位之间具有随机二进制单位和无向边的随机循环神经网络。由于玻尔兹曼机的范围限制,RBM被引入它由隐藏层单元组成,每个隐藏单元之间有受限的连接。这种结构有助于RBM学习。

看下面了解更多:

图片来源:Geoffrey Hinton,cs.toronto.edu

(https://www.cs.toronto.edu/~hinton/nipstutorial/nipstut3.pdf)

DBN架构:

DBN由受限玻尔兹曼机(RBMs)层组成,为预训练时期,然后是用于微调阶段的前馈网络。如下面的DBN的网络架构所示:

图像来源(https://www.safaribooksonline.com/library/view/deep-learning/9781491924570/assets/dpln_0401.png)

DBN如何工作:

现在我们已经了解了信念网络和RBM的基础知识,让我们尝试了解DBN如何实际运作。由于DBN是多层信念网络。其中每层是受限玻尔兹曼机器彼此堆叠,用于深度信念网络。训练DBN的第一步是使用对比分歧算法(CD算法)从可见单元学习一层特征。然后,下一步是将先前训练过特征的激活视为可见的单元,并学习第二个隐藏层中的特征的特征。最后,整个DBN在实现最终隐藏层的学习时被训练。

贪心DBN学习:

图像来源(https://www.slideshare.net/HasanHTopcu/deep-belief-networks-58155447)

深度信念网络的应用领域:

1.图像和人脸识别

2.视频序列识别

3.运动捕捉数据

NASA(美国国家航空航天局)正在使用DBN来分类TB级的,高分辨率的,高度多样化的卫星图像。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-10-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏奇点大数据

Pytorch神器(8)

在学习深度学习的过程中,我们通常会学到这样一对单词“Encoder”和“Decoder”。其实只要你学习深度学习,“Encoder”和“Decoder”就一定会...

19320
来自专栏绿巨人专栏

强化学习读书笔记 - 11 - off-policy的近似方法

37570
来自专栏人工智能头条

RNN在自然语言处理中的应用及其PyTorch实现

19620
来自专栏AI科技大本营的专栏

利用 RNN 训练 Seq2Seq 已经成为过去,CNN 才是未来?

FAIR (Facebook AI Research)则提出了一种完全基于 CNN (卷积神经网络)的架构。相比循环模型,其训练过程中所有元素的计算都可以完全并...

1.7K00
来自专栏AI科技评论

干货 | 完全图解RNN、RNN变体、Seq2Seq、Attention机制

AI科技评论按:本文作者何之源,原文载于知乎专栏AI Insight,AI科技评论获其授权发布。 本文主要是利用图片的形式,详细地介绍了经典的RNN、RNN几个...

52040
来自专栏轮子工厂

神经网络的相关概念

感知机是由科学家Frank Rosenblatt发明于1950至1960年代,它受到了Warren McCulloch 和Walter Pitts的更早工作的启...

10230
来自专栏企鹅号快讯

受限玻尔兹曼机

关注AI君,领略人工智能之美 受限玻尔兹曼机 Restricted Bolltzmann Machine 概述 各位读者,新年好! 在《技术词条》系列文章的上一...

32890
来自专栏老秦求学

LSTM生成尼采风格文章

github地址 使用循环神经网络生成序列文本数据。循环神经网络可以用来生成音乐、图像作品、语音、对话系统对话等等。

38140
来自专栏AI研习社

完全图解RNN、RNN变体、Seq2Seq、Attention机制

本文主要是利用图片的形式,详细地介绍了经典的RNN、RNN几个重要变体,以及Seq2Seq模型、Attention机制。希望这篇文章能够提供一个全新的视角,帮助...

46550
来自专栏WOLFRAM

用Wolfram语言绘制一笔画环形迷宫

50240

扫码关注云+社区

领取腾讯云代金券