【深度学习】UPN分支介绍—深度信念网络基础原理与架构

图像来源(http://www.cognitivetoday.com/wp-content/uploads/2016/10/DCN-600×392.png)

我之前关于深度学习的文章:

1.深度学习基础(https://codeburst.io/deep-learning-what-why-dd77d432f182) 2.深度学习的自动编码器(https://codeburst.io/deep-learning-types-and-autoencoders-a40ee6754663)

今天我们将了解深度信念网络(DBN)一种无监督预训练的网络(UPN)

让我们先定义DBN:

DBN是一类深层神经网络,其包括有向边和无向边的多层图形模型。它由多层隐藏单元组成,每层都相互连接,但单元之间不连接。

要了解深层信念网络,我们需要了解DBN的两个重点:

1.信念网络

2.受限玻尔兹曼机(RBM)

信念网络:

它由随机二进制单元层组成,其中每个连接层都具有一些权重。信念网络中的随机二进制单位具有0或1两张状态,并且变为1的概率由来自其他单元的偏见和加权输入决定。

让我们来看看这个来自(Geoffrey Hinton,cs.toronto.edu)的深度信念网络图

图片来源:Geoffrey Hinton,cs.toronto.edu

(https://www.cs.toronto.edu/~hinton/nipstutorial/nipstut3.pdf)

GEOFFREY HINTON博士这样说:

深度信念网的两个最重要的属性是:

  • 有一个高效而逐层的过程,用于学习自上而下生成的权重,以确定一个层中的变量如何依赖于上个层中的变量。
  • 学习后,每个层面的潜在变量的值可以通过从底层观察数据向量开始的单个自下而上的传递来推断,并在相反方向上使用生成权重。

受限玻尔兹曼机

波尔兹曼机是一种在单位之间具有随机二进制单位和无向边的随机循环神经网络。由于玻尔兹曼机的范围限制,RBM被引入它由隐藏层单元组成,每个隐藏单元之间有受限的连接。这种结构有助于RBM学习。

看下面了解更多:

图片来源:Geoffrey Hinton,cs.toronto.edu

(https://www.cs.toronto.edu/~hinton/nipstutorial/nipstut3.pdf)

DBN架构:

DBN由受限玻尔兹曼机(RBMs)层组成,为预训练时期,然后是用于微调阶段的前馈网络。如下面的DBN的网络架构所示:

图像来源(https://www.safaribooksonline.com/library/view/deep-learning/9781491924570/assets/dpln_0401.png)

DBN如何工作:

现在我们已经了解了信念网络和RBM的基础知识,让我们尝试了解DBN如何实际运作。由于DBN是多层信念网络。其中每层是受限玻尔兹曼机器彼此堆叠,用于深度信念网络。训练DBN的第一步是使用对比分歧算法(CD算法)从可见单元学习一层特征。然后,下一步是将先前训练过特征的激活视为可见的单元,并学习第二个隐藏层中的特征的特征。最后,整个DBN在实现最终隐藏层的学习时被训练。

贪心DBN学习:

图像来源(https://www.slideshare.net/HasanHTopcu/deep-belief-networks-58155447)

深度信念网络的应用领域:

1.图像和人脸识别

2.视频序列识别

3.运动捕捉数据

NASA(美国国家航空航天局)正在使用DBN来分类TB级的,高分辨率的,高度多样化的卫星图像。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-10-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

学界 | 清华大学计算机系朱军教授:机器学习里的贝叶斯基本理论、模型和算法

AI科技评论按: 3月3日,中国人工智能学会AIDL第二期【人工智能前沿讲习班】在北京中科院自动化所举行,本期讲习班的主题为【机器学习前沿】。周志华教授担任学术...

43214
来自专栏CDA数据分析师

算法太多挑花眼?教你如何选择正确的机器学习算法

机器学习既是一门科学,也是一种艺术。纵观各类机器学习算法,并没有一种普适的解决方案或方法。事实上,有几个因素会影响你对机器学习算法的选择。

910
来自专栏AI研习社

为什么『无监督集成学习』乏人问津?

终于有机会给大家聊聊每天折磨我的主题 - 无监督集成学习(Unsupervised Ensemble)。其实这是个很有意思的领域,但因为各种各样的原因一直都处于...

3266
来自专栏人工智能头条

深度学习,维度灾难 和 Autoencoders

2013
来自专栏机器之心

学界 | 神经混合模型:提升模型性能,显著降低困惑度

选自arXiv 机器之心编译 参与:路雪、蒋思源 基于神经网络的语言模型能够学习不同的自然语言特征,性能也正在持续提升。萨尔大学在 ICASSP 2017 发表...

27410
来自专栏数据科学与人工智能

【算法】集成学习

小编邀请您,先思考: 1 集成学习是什么? 2 如何用Python或者R实现集成学习? 1 集成学习是什么? 简单来说,集成学习是一种技术框架,其按照不同的思路...

3139
来自专栏数据派THU

初学者如何选择合适的机器学习算法(附算法速查表)

来源:机器之心 参与:黄小天、蒋思源、吴攀 校对:谭佳瑶 本文长度为4000字,建议阅读6分钟 本文针对算法的选择为你提供一些参考意见。 本文主要的目标读者是机...

1836
来自专栏xingoo, 一个梦想做发明家的程序员

吴恩达机器学习笔记 —— 9 神经网络学习

在传统的线性回归或者逻辑回归中,如果特征很多,想要手动组合很多有效的特征是不现实的;而且处理这么大的特征数据量,计算上也很复杂。

720
来自专栏PPV课数据科学社区

快速选择合适的机器学习算法

本文主要适用于初学者到中级数据科学家或分析师,他们有兴趣识别和应用机器学习算法来解决他们感兴趣的问题。

1132
来自专栏机器学习算法与Python学习

解决分类样本不平衡问题 ~ ML&DM面试高频问题

样本不平衡会导致出现以下的问题: (1)少数类所包含的信息很有限,难以确定少数类数据的分布,即难以在内部挖掘规律,造成少数类的识别率低; (2)很多分类算法采用...

2494

扫码关注云+社区