【深度学习】UPN分支介绍—深度信念网络基础原理与架构

图像来源(http://www.cognitivetoday.com/wp-content/uploads/2016/10/DCN-600×392.png)

我之前关于深度学习的文章:

1.深度学习基础(https://codeburst.io/deep-learning-what-why-dd77d432f182) 2.深度学习的自动编码器(https://codeburst.io/deep-learning-types-and-autoencoders-a40ee6754663)

今天我们将了解深度信念网络(DBN)一种无监督预训练的网络(UPN)

让我们先定义DBN:

DBN是一类深层神经网络,其包括有向边和无向边的多层图形模型。它由多层隐藏单元组成,每层都相互连接,但单元之间不连接。

要了解深层信念网络,我们需要了解DBN的两个重点:

1.信念网络

2.受限玻尔兹曼机(RBM)

信念网络:

它由随机二进制单元层组成,其中每个连接层都具有一些权重。信念网络中的随机二进制单位具有0或1两张状态,并且变为1的概率由来自其他单元的偏见和加权输入决定。

让我们来看看这个来自(Geoffrey Hinton,cs.toronto.edu)的深度信念网络图

图片来源:Geoffrey Hinton,cs.toronto.edu

(https://www.cs.toronto.edu/~hinton/nipstutorial/nipstut3.pdf)

GEOFFREY HINTON博士这样说:

深度信念网的两个最重要的属性是:

  • 有一个高效而逐层的过程,用于学习自上而下生成的权重,以确定一个层中的变量如何依赖于上个层中的变量。
  • 学习后,每个层面的潜在变量的值可以通过从底层观察数据向量开始的单个自下而上的传递来推断,并在相反方向上使用生成权重。

受限玻尔兹曼机

波尔兹曼机是一种在单位之间具有随机二进制单位和无向边的随机循环神经网络。由于玻尔兹曼机的范围限制,RBM被引入它由隐藏层单元组成,每个隐藏单元之间有受限的连接。这种结构有助于RBM学习。

看下面了解更多:

图片来源:Geoffrey Hinton,cs.toronto.edu

(https://www.cs.toronto.edu/~hinton/nipstutorial/nipstut3.pdf)

DBN架构:

DBN由受限玻尔兹曼机(RBMs)层组成,为预训练时期,然后是用于微调阶段的前馈网络。如下面的DBN的网络架构所示:

图像来源(https://www.safaribooksonline.com/library/view/deep-learning/9781491924570/assets/dpln_0401.png)

DBN如何工作:

现在我们已经了解了信念网络和RBM的基础知识,让我们尝试了解DBN如何实际运作。由于DBN是多层信念网络。其中每层是受限玻尔兹曼机器彼此堆叠,用于深度信念网络。训练DBN的第一步是使用对比分歧算法(CD算法)从可见单元学习一层特征。然后,下一步是将先前训练过特征的激活视为可见的单元,并学习第二个隐藏层中的特征的特征。最后,整个DBN在实现最终隐藏层的学习时被训练。

贪心DBN学习:

图像来源(https://www.slideshare.net/HasanHTopcu/deep-belief-networks-58155447)

深度信念网络的应用领域:

1.图像和人脸识别

2.视频序列识别

3.运动捕捉数据

NASA(美国国家航空航天局)正在使用DBN来分类TB级的,高分辨率的,高度多样化的卫星图像。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-10-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

【NAACL 2018】Self-attention考虑相对位置,谷歌Vaswani团队最新工作

1915
来自专栏绿巨人专栏

强化学习读书笔记 - 11 - off-policy的近似方法

3517
来自专栏ATYUN订阅号

【学术】一篇关于机器学习中的稀疏矩阵的介绍

AiTechYun 编辑:Yining 在矩阵中,如果数值为0的元素数目远远多于非0元素的数目,并且非0元素分布无规律时,则称该矩阵为稀疏矩阵;与之相反,若非0...

5924
来自专栏人工智能头条

RNN在自然语言处理中的应用及其PyTorch实现

1292
来自专栏AI科技大本营的专栏

利用RNN训练Seq2Seq已经成为过去,CNN才是未来?

翻译 | AI科技大本营(rgznai100) 参与 | Shawn、周翔 当前 seq2seq (序列到序列)学习惯用的方法是,借助 RNN(循环神经网络)将...

3417
来自专栏机器之心

入门 | CNN也能用于NLP任务,一文简述文本分类任务的7个模型

本文是我之前写过的一篇基于推特数据进行情感分析的文章(https://ahmedbesbes.com/sentiment-analysis-on-twitter...

2255
来自专栏ATYUN订阅号

基于递归网络的语言模型

在使用像LSTM或GRU这样的递归神经网络时,有许多设计决策要做。我进行了一些实验,看看在Text8数据集中运行效果如何(数据集:http://mattmaho...

3085
来自专栏ATYUN订阅号

【干货】用于机器学习的线性代数速查表

NumPy,Python的数值计算库,它提供了许多线性代数函数。对机器学习从业人员用处很大。 在这篇文章中,你将看到对于机器学习从业者非常有用的处理矢量和矩阵的...

2929
来自专栏AI研习社

完全图解RNN、RNN变体、Seq2Seq、Attention机制

本文主要是利用图片的形式,详细地介绍了经典的RNN、RNN几个重要变体,以及Seq2Seq模型、Attention机制。希望这篇文章能够提供一个全新的视角,帮助...

4225
来自专栏机器之心

观点 | 从信息论的角度理解与可视化神经网络

选自TowardsDataScience 作者:Mukul Malik 机器之心编译 参与:Pedro、思源 信息论在机器学习中非常重要,但我们通常熟知的是信息...

5985

扫码关注云+社区