首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

人工智能发展史(六)之受限玻尔兹曼机和深度置信网络那些事儿

上周我们讲述了玻尔兹曼机的原理和相关的算法,我们知道为了使得其达到非常精确的解,需要非常漫长的过程,所以也就导致其应用非常困难。这周我们讲讲受限玻尔兹曼机是怎样从玻尔兹曼机演变而来,并为大家介绍Hinton在深度学习的奠基性工作——深度置信网络。 1 受限玻尔兹曼机RBM 什么是受限玻尔兹曼机?域玻尔兹曼机有什么关系和区别呢?我们先看看两者的结构图: 上图可以看到,受限玻尔兹曼机RBM就是讲BM的可见层和隐层自身之间的连接去掉了,简化了网络结构而已。BM的神经元只能取一个二值,但是RBM的神经元可以取任意类

07
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    理论优美的深度信念网络,Hinton老爷子北大最新演讲

    2006年,研究者对深度神经网络的兴趣再度复兴,而这主要归功于Hinton等人发现的高效新方法。借助深度信念网络(Deep Belief Nets, DBN),当时研究者可以在未标注数据上预训练深度神经网络,这是一种生成模型的方式。预训练完成后,神经网络可以在标注数据上实现判别式的精调,从而获得很好的效果。 这就是最初深度网络的训练方法,也是令深度学习进入ML社区的开创性新研究。尽管目前训练深度神经网络不再需要这种预训练,但它的思想及做法仍深深影响着当前的研究者。 刚刚,Geoffrey Hinton受邀远程为北大学子做了一场分享,深入介绍了深度信念网络的理论知识。

    02

    近似推断难题

    许多概率模型很难训练的原因是很难进行推断。在深度学习中,通常我们有一系列可见变量 v 和一系列潜变量 h。推断困难通常是指难以计算 p(h | v) 或其期望。而这样的操作在一些诸如最大似然学习的任务中往往是必需的。许多仅含一个隐藏层的简单图模型会定义成易于计算 p(h | v) 或其期望的形式,例如受限玻尔兹曼机和概率 PCA。不幸的是,大多数具有多层隐藏变量的图模型的后验分布都很难处理。对于这些模型而言,精确推断算法需要指数量级的运行时间。即使一些只有单层的模型,如稀疏编码,也存在着这样的问题。我们可以参考几个用来解决这些难以处理的推断问题的技巧,其描述了如何将这些技巧应用到训练其他方法难以奏效的概率模型中,如深度信念网络、深度玻尔兹曼机。

    01

    你不得不了解的8种神经网络结构!

    中长文预警!文末附赠大量资源!切勿错过! 机器学习已经在各个行业得到了大规模的广泛应用,并为提升业务流程的效率、提高生产率做出了极大的贡献。目前机器学习主要在以下方面应用: 模式识别:实际场景中的目标、包括人脸、表情、语音识别等等; 异常检测:例如信用卡交易的异常检测、传感器异常数据模式检测和异常行为检测等; 预测问题:预测股票或者汇率、或者预测消费者喜欢的电影、音乐等。 神经网络是一类机器学习算法和模型的统称,也是目前机器学习发展最快的一个领域。神经网络的架构主要分为三大类——前馈、循环和对称链接网络。

    06

    你不得不了解的8种神经网络结构!

    机器学习已经在各个行业得到了大规模的广泛应用,并为提升业务流程的效率、提高生产率做出了极大的贡献。目前机器学习主要在以下方面应用: 模式识别:实际场景中的目标、包括人脸、表情、语音识别等等; 异常检测:例如信用卡交易的异常检测、传感器异常数据模式检测和异常行为检测等; 预测问题:预测股票或者汇率、或者预测消费者喜欢的电影、音乐等。 神经网络是一类机器学习算法和模型的统称,也是目前机器学习发展最快的一个领域。神经网络的架构主要分为三大类——前馈、循环和对称链接网络。神经网络具有如下三个特征使它成为了机器学习中

    08

    理解计算:从根号2到AlphaGo第8季 深度学习发展简史

    在本系列的2,3,4季中,我们分别介绍了神经网络的生物学背景,最早的关于神经元的数学模型,以及具有学习功能的感知机。我们现在已经知道,如何学习神经网络的参数是最为关键的问题,这个问题从宏观上看实际上跟求解2的平方根并没有本质不同,即需要一个迭代过程(梯度下降)不断更新模型的参数。在一个著名的Adaline模型(第4季)的基础上,我们首次看到了激活函数、代价函数,梯度(导数)这些概念在求解模型参数中的核心作用,梯度下降法首次被运用到神经元模型中。接下来的第5季则专门介绍了导数的概念以及求解方法。逆向求导由于其极高的性能,看起来极具吸引力。从现在的眼光来看,在上个世纪80年代的时候,所有的基础几乎已经准备妥当,只是在等一个适当的机会,一些零星的在当时并不那么惹眼的研究,逐渐将神经网络以一种更加高大上外表包裹起来,深度学习开始了它的统治时代。本主要介绍从神经网络到深度学习发展过程中的几个重要的模型及其人物的简单历史,希望能帮助大家宏观上了解深度学习发展的基本脉络。

    05

    薛定谔的滚与深度学习中的物理

    【新智元导读】作者从薛定谔的“滚”讲到世界的量子性、神经网络的最大似然等等,用颇具趣味的方式呈现了深度学习中无处不在的物理本质。 最近朋友圈里有大神分享薛定谔的滚,一下子火了,“当一个妹子叫你滚的时候,你永远不知道她是在叫你滚还是叫你过来抱紧”,这确实是一种十分纠结的状态,而薛定谔是搞不清楚的,他连自己的猫是怎么回事还没有弄清楚。虽然人们对于薛定谔头脑中那只被放射性物质残害的猫的生死一直众说纷纭,斯特恩·盖拉赫却在实验中,实实在在看到了,我们身处的这个物理世界的量子性,也就是既生又死、既真又假、既梦又醒、既

    05

    一文读懂量子机器学习:量子算法基石已经奠定

    【新智元导读】在计算能力增加和算法进步的推动下,机器学习技术已成为从数据中寻找模式的强大工具。量子系统能生产出一些非典型(atypical)模式,而一般认为经典系统无法高效地生产出这些模式。所以,有理由假定,量子计算机在某些机器学习任务上将优于经典计算机。量子机器学习这一研究领域探索如何设计和实现量子软件,如何使量子机器学习速度比经典计算机更快。该领域最近的工作已经建造出了可以担当机器学习程序基石的量子算法,但在硬件和软件方面仍面临巨大挑战。 在人类拥有计算机之前,人类就从数据中寻找模式。托勒密将对星系运动

    06

    论文阅读---Reducing the Dimensionality of Data with Neural Networks

    通过训练多层神经网络可以将高维数据转换成低维数据,其中有对高维输入向量进行改造的网络层。梯度下降可以用来微调如自编码器网络的权重系数,但是对权重的初始化要求比较高。这里提出一种有效初始化权重的方法,允许自编码器学习低维数据,这种降维方式比PCA表现效果更好。 降维有利于高维数据的分类、可视化、通信和存储。简单而普遍使用的降维方法是PCA(主要成分分析)--首先寻找数据集中方差最大的几个方向,然后用数据点在方向上的坐标来表示这条数据。我们将PCA称作一种非线性生成方法,它使用适应性的、多层“编码”网络将

    04
    领券