【NIPS2017】“深度高斯模型”可能为深度学习的可解释性提供概率形式的理论指导?亚马逊机器学习专家最新报告

【导读】在NIPS 2017上,亚马逊机器学习专家Neil Lawrence在12月4日在长滩现场进行了一场“基于高斯模型的深度概率模型”的演讲报告。这场报告Neil Lawrence形象化地讲解了使用高斯过程来建模深度网络,并且深入浅出地讲解了什么是机器学习,不确定性的含义以及深度神经网络和高斯过程的一些关联等等,PPT内容干货很多,是学习机器学习概率理论的好文,后续专知会持续讲解PPT里的相关概念,敬请期待。

▌深度高斯过程


当前神经网络模型, 结构上非常清晰, 但是人们很难完整的把一个神经网络结构形式化成一个公式。而高斯过程正相反, 我们可以轻松的把任意一个高斯过程用公式完美刻画, 但当我们去用算法实现它, 却发现这是比较困难的。这篇报告中,作者试图使用高斯过程来代替神经网络中的一个层,来减少深度神经网络复杂的计算形式,这样使用一种概率模型的方式来进行深度神经网络的计算,可以为后续深度学习的可解释性提供概率形式的理论指导。

当我们听到“深度高斯过程”的时候, 我们在想些什么? 我们可能会问:

  1. 高斯过程能够做些什么? 它能够替换掉神经网络的某些层么?或者说, 有没有可能将高斯过程和神经网络的某些层结合起来做点事情?比如用高斯过程做神经网络的预处理, 或者先用神经网络提特征然后在feed给高斯过程?
  2. 有没有好的训练算法, 能够高效的解非常复杂的高斯过程? 类似现在的很多深度学习这样.
  3. 深度高斯过程的时间和空间复杂度是怎样的? 同样的任务, 相比于深度学习模型, 有哪些差异?
  4. 如何鲁棒?据说高斯过程在小数据集上比较work, 在有很多数据缺失的情况下也很鲁棒?
  5. 高斯过程数学公式很多,难学?高斯过程并不是很火, 那些公式的堆叠看上去非常复杂, 拿来用的话, 是不是要再补一补数学?

在NIPS 2017上, Neil Lawrence, 进行了题为 "Deep Probabilistic Modelling with Gaussian Processes"的报告, 把上面的问题, 清晰地阐述了一下。

▌Neil Lawrence简介


Neil Lawrence 是英国谢菲尔德大学教授,著名机器学习/高斯过程专家,现在加入亚马逊在英国剑桥领导一个机器学习团队。

个人主页:http://inverseprobability.com/

▌PPT简介


  • 摘要

神经网络模型, 结构上非常清晰, 但是人们很难完整的把一个神经网络结构形式化成一个公式. 而高斯过程正相反, 我们可以轻松的把任意一个高斯过程用公式完美刻画, 但当我们去用算法实现它, 却发现这是比较困难的。在这篇报告里, 作者讨论深度高斯过程模型(Deep Probabilistic Modelling with Gaussian Processes), 类似所有高斯过程, 这一模型, 在数学形式上是简单和清晰的, 但在算法结构上充满挑战。

在文中, 作者将给出高斯过程的概述, 然后着重讲解如何基于变分来从算法上近似高斯过程, 从而将高斯过程堆叠起来, 形成我们的目标: deep Gaussian process. 报告最后, 会聊一聊深度高斯过程模型在uncertainty quantification上的应用, 以及与深度高斯过程相关的一些open questions。

PPT报告内容如下:

参考文献:

http://inverseprobability.com/talks/lawrence-nips17/deep-probabilistic-modelling-with-gaussian-processes.html

▌特别提示-Neil Lawrence最新深度高斯过程PPT下载

请关注专知公众号

  • 后台回复“DGP” 就可以获取PPT下载~

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2017-12-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

谷歌大脑工程师Eric Jang 2017机器学习总结:从表达能力、训练难度和泛化能力讨论机器学习模型

【导读】谷歌大脑工程师Eric Jang在2017年11月20日发表一篇名为《Expressivity, Trainability, and Generaliz...

3875
来自专栏机器之心

学界 | 论文撞车英伟达,一作「哭晕在厕所」,英伟达:要不要来实习?

来自韩国首尔大学的研究者近期发布了一篇利用基于流的生成模型进行实时的语音合成的研究 FloWaveNet。但奇怪的是,他们的论文中并没有语音合成中典型的人类评估...

852
来自专栏AI科技大本营的专栏

机器学习入门概览

我们从一个实例来了解机器学习的基本概念。假设我们现在面临这样一个任务(Task) ,任务的内容是识别手写体的数字。对于计算机而言,这些手写数字是一张张图片,如下...

781
来自专栏AI科技评论

学界 | OpenAI最新发现:易于实现的新方法,轻松加快学习速度

AI 科技评论按:OpenAI最新发现表明,通过在网络的参数空间中加入噪声,可以获得远优于在网络的行为空间中增加噪声的表现。此外,他们发布了一系列基准代码,覆盖...

3384
来自专栏数据科学与人工智能

【陆勤践行】机器学习分类器选择

你知道如何为你的分类问题选择合适的机器学习算法吗?当然,如果你真正关心准确率,那么最佳方法是测试各种不同的算法(同时还要确保对每个算法测试不同参数),然后通过交...

20510
来自专栏顶级程序员

12个关键词,告诉你到底什么是机器学习

编者按:随着人工智能(AI)技术对各行各业有越来越深入的影响,我们也更多地在新闻或报告中听到“机器学习”、“深度学习”、“增强学习”、“神经网络”等词汇,对于...

2905
来自专栏AI传送门

股票预测,自动翻译,你想要的它都能做——RNN算法探索之旅(2)

1454
来自专栏专知

【干货】ICCV2017 PoseTrack challenge优异方法:基于检测和跟踪的视频中人体姿态估计

【导读】近日,针对视频中场景复杂、人物众多等困难挑战,来自Facebook、CMU和达特茅斯学院的研究人员提出了一种新颖的基于检测和跟踪的视频中人体姿态估计方法...

6446
来自专栏AI科技评论

优必选悉尼AI研究院博士生:混合比例估计在弱监督学习和迁移学习中的延伸与应用

AI 科技评论按:在大数据时代,标注足够多的训练样本往往耗费巨大。弱监督学习方法往往能够减轻对正确标签的过度依赖,达到与监督学习相近的性能。然而,在设计弱监督学...

1192
来自专栏大数据文摘

公开课打怪团 | 无监督学习最新论文解读(直播回顾)

1674

扫码关注云+社区

领取腾讯云代金券