Hinton高徒 Yee Whye Teh 《贝叶斯深度学习与深度贝叶斯学习》

【导读】12月7日,第31届神经信息处理系统大会(Neural Information Processing Systems,NIPS)邀请牛津大学统计学教授、Deepmind 研究科学家,同时也是和Hinton一起发明深度信念网络(Deep Belief Network,DBN)的Hinton高徒 Yee Whye Teh(郑宇怀)发表了题为《Bayesian Deep Learning and Deep Bayesian Learning》(贝叶斯深度学习与深度贝叶斯学习)的报告。

▌演讲人介绍

http://www.stats.ox.ac.uk/~teh/

Yee Whye Teh是牛津大学统计学教授,他于2003年获得多伦多大学计算机博士学位,师从Geroffery Hinton。获得多伦多大学的博士学位,郑怀宇在美国加州大学伯克利分校和新加坡国立大学从事博士后工作,研究方向是机器学习和计算统计学,特别是图形模型、贝叶斯非参数和表征学习。他还多次担任NIPS、ICML和AISTATS的领域主席(area chair)。

Yee Whye Teh 于2016年加入Deepmind 任研究科学家。DemisHassabis当时宣布“很高兴 Yee Whye Teh 和 Simon Osindero 加入团队,他们两人在 2006 年与 Hinton 合著论文,引发了深度学习革命!”

2006 年那篇论文,题目叫做 “A fast learning algorithm for deep belief nets”,《深度信念网络的一种快速学习算法》,刊于 Neural Computation,目前被引用了 7000 多次。这篇文章解决了什么问题呢?

我们知道,在一定程度内,中间隐藏层越多,网络能解决的问题就越复杂。然而,没有人知道怎么训练多层的神经网络(也即深度神经网络),因此深度神经网络一直无人问津。

直到 Hinton、Yee Whye Teh 和 Osindero 2006 年发表上述论文,提出了一个训练深度网络的方法——对每一层网络都进行预训练,然后再微调,这样学习速度就会大幅提高——终于初步解决了这一长期困扰人们的问题。

深度置信网络(DBN)在著名的手写字数据集MNIST中达到错误率1.25%的惊人成绩(SVM:1.4%,ANN:2.95%)。至此,深度学习开始登上舞台。这篇文章让人们开始注意深度网络,进而注意到深度学习,开启了新的时代,所以 Hassabis 将其称为“革命”。

▌摘要

概率论和贝叶斯推理可以说是我们理解机器学习的主要理论支柱之一。 受它的影响,在过去的二十年形成了一系列成功的机器学习方法,并影响了许多这个领域研究人员的思维。 另一方面,在过去的几年里,深度学习的兴起彻底改变了这个领域,并导致了一系列现象级,具有划时代意义的成功。 在这次演讲中,我将探讨机器学习这两个观点之间的交叉,通过我参与的一些项目演示,来探索如下问题:概率统计思维如何帮助我们理解深度学习方法,或者引导我们开发出有趣的新方法? 或者相反,深度学习技术如何帮助我们开发先进的概率统计方法?

Bayesian Deep Learning and Deep Bayesian Learning

贝叶斯深度学习与深度贝叶斯学习

▌视频

附上本次报告视频

▌ppt

Yee Whye Teh 个人主页:

http://www.stats.ox.ac.uk/~teh/

-END-

专 · 知

人工智能领域主题知识资料查看获取:【专知荟萃】人工智能领域25个主题知识资料全集(入门/进阶/论文/综述/视频/专家等)

同时欢迎各位用户进行专知投稿,详情请点击

本文来自企鹅号 - 专知媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

用户在线广告点击行为预测的深度学习模型

2635
来自专栏CDA数据分析师

资源 | 最全的27张机器学习Python(以及数学)速查表 (附下载链接)

机器学习 以下是一些实用的流程图和机器学习算法表。 神经网络架构 来源: http : //www.asimovinstitute.org/neural-net...

2159
来自专栏量子位

Facebook的新AI「Rosetta」会识别表情包,还会删帖丨论文

不过,表情包上的那些网络金句都是.jpg或者.gif的图片格式,无法被搜索、无法被计算机监测,字太小不清晰的时候还会让视力不好的同学看不清楚。

672
来自专栏AI2ML人工智能to机器学习

易图秒懂の深度学习诞生 问题篇

认知科学改写了一帮搞物理的人在做神经网络的局面(参考 ”易图秒懂の连接主义诞生“), 从此以心理学大师Estes的学生,Rumelhart为代表的连接主义的早...

491
来自专栏人工智能头条

卷积神经网络模型如何辨识裸体图片

1675
来自专栏AI科技大本营的专栏

牛!何恺明包揽2项ICCV 2017最佳论文奖!这位高考状元告诉你什么是开挂的人生

大神终究是大神! 刚刚,AI 科技大本营获悉,继两次荣获 CVPR 最佳论文奖之后,何恺明参与的两篇最新论文又分别摘下 ICCV 2017 的最佳论文奖(Bes...

3405
来自专栏机器之心

学界 | 腾讯提出并行贝叶斯在线深度学习框架PBODL:预测广告系统的点击率

选自arXiv 机器之心编译 参与:蒋思源 近日,腾讯发表了一篇介绍并行贝叶斯在线深度学习(PBODL)框架的论文,该论文表示这一框架已经用于腾讯广告系统的点击...

2824
来自专栏专知

【CVPR2018最佳论文重磅出炉】斯坦福伯克利折桂,何恺明获TPAMI年轻研究员奖

【导读】美国当地时间6 月 18 号,CVPR 2018 在犹他州盐湖城开幕。作为计算机视觉领域的全球顶会,吸引了国内外众多学界、产业界的研究人员参与。CVPR...

792
来自专栏AI科技评论

干货 | Machine Can See 2018 图像对抗攻击大赛比赛心得

AI 科技评论按:这篇文章来自俄罗斯数据科学家、机器学习爱好者、创业公司的计算机视觉研究员 Alexander Aveysov。他参加了 2018 年度的「Ma...

1092
来自专栏量子位

Kaggle获奖者自述比赛求生指南:我们如何“穿越”亚马逊热带雨林

作者:刘思聪 中山大学|计算机科学与技术研究生 来源自知乎专栏:AI带路党 量子位 已获授权编辑发布 大家好,我是思聪 · 格里尔斯,我将向您展示如何从世界上某...

4708

扫码关注云+社区