首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

理论优美的深度信念网络,Hinton老爷子北大最新演讲

2006年,研究者对深度神经网络的兴趣再度复兴,而这主要归功于Hinton等人发现的高效新方法。借助深度信念网络(Deep Belief Nets, DBN),当时研究者可以在未标注数据上预训练深度神经网络,这是一种生成模型的方式。预训练完成后,神经网络可以在标注数据上实现判别式的精调,从而获得很好的效果。 这就是最初深度网络的训练方法,也是令深度学习进入ML社区的开创性新研究。尽管目前训练深度神经网络不再需要这种预训练,但它的思想及做法仍深深影响着当前的研究者。 刚刚,Geoffrey Hinton受邀远程为北大学子做了一场分享,深入介绍了深度信念网络的理论知识。

02

人工智能发展史(六)之受限玻尔兹曼机和深度置信网络那些事儿

上周我们讲述了玻尔兹曼机的原理和相关的算法,我们知道为了使得其达到非常精确的解,需要非常漫长的过程,所以也就导致其应用非常困难。这周我们讲讲受限玻尔兹曼机是怎样从玻尔兹曼机演变而来,并为大家介绍Hinton在深度学习的奠基性工作——深度置信网络。 1 受限玻尔兹曼机RBM 什么是受限玻尔兹曼机?域玻尔兹曼机有什么关系和区别呢?我们先看看两者的结构图: 上图可以看到,受限玻尔兹曼机RBM就是讲BM的可见层和隐层自身之间的连接去掉了,简化了网络结构而已。BM的神经元只能取一个二值,但是RBM的神经元可以取任意类

07

论文阅读---Reducing the Dimensionality of Data with Neural Networks

通过训练多层神经网络可以将高维数据转换成低维数据,其中有对高维输入向量进行改造的网络层。梯度下降可以用来微调如自编码器网络的权重系数,但是对权重的初始化要求比较高。这里提出一种有效初始化权重的方法,允许自编码器学习低维数据,这种降维方式比PCA表现效果更好。 降维有利于高维数据的分类、可视化、通信和存储。简单而普遍使用的降维方法是PCA(主要成分分析)--首先寻找数据集中方差最大的几个方向,然后用数据点在方向上的坐标来表示这条数据。我们将PCA称作一种非线性生成方法,它使用适应性的、多层“编码”网络将

04
领券