【导读】在NIPS 2017上,亚马逊机器学习专家Neil Lawrence在12月4日在长滩现场进行了一场“基于高斯模型的深度概率模型”的演讲报告。这场报告Neil Lawrence形象化地讲解了使用高斯过程来建模深度网络,并且深入浅出地讲解了什么是机器学习,不确定性的含义以及深度神经网络和高斯过程的一些关联等等,PPT内容干货很多,是学习机器学习概率理论的好文,后续专知会持续讲解PPT里的相关概念,敬请期待。
▌深度高斯过程
当前神经网络模型, 结构上非常清晰, 但是人们很难完整的把一个神经网络结构形式化成一个公式。而高斯过程正相反, 我们可以轻松的把任意一个高斯过程用公式完美刻画, 但当我们去用算法实现它, 却发现这是比较困难的。这篇报告中,作者试图使用高斯过程来代替神经网络中的一个层,来减少深度神经网络复杂的计算形式,这样使用一种概率模型的方式来进行深度神经网络的计算,可以为后续深度学习的可解释性提供概率形式的理论指导。
当我们听到“深度高斯过程”的时候, 我们在想些什么? 我们可能会问:
在NIPS 2017上, Neil Lawrence, 进行了题为 "Deep Probabilistic Modelling with Gaussian Processes"的报告, 把上面的问题, 清晰地阐述了一下。
▌Neil Lawrence简介
Neil Lawrence 是英国谢菲尔德大学教授,著名机器学习/高斯过程专家,现在加入亚马逊在英国剑桥领导一个机器学习团队。
个人主页:http://inverseprobability.com/
▌PPT简介
神经网络模型, 结构上非常清晰, 但是人们很难完整的把一个神经网络结构形式化成一个公式. 而高斯过程正相反, 我们可以轻松的把任意一个高斯过程用公式完美刻画, 但当我们去用算法实现它, 却发现这是比较困难的。在这篇报告里, 作者讨论深度高斯过程模型(Deep Probabilistic Modelling with Gaussian Processes), 类似所有高斯过程, 这一模型, 在数学形式上是简单和清晰的, 但在算法结构上充满挑战。
在文中, 作者将给出高斯过程的概述, 然后着重讲解如何基于变分来从算法上近似高斯过程, 从而将高斯过程堆叠起来, 形成我们的目标: deep Gaussian process. 报告最后, 会聊一聊深度高斯过程模型在uncertainty quantification上的应用, 以及与深度高斯过程相关的一些open questions。
PPT报告内容如下:
参考文献:
http://inverseprobability.com/talks/lawrence-nips17/deep-probabilistic-modelling-with-gaussian-processes.html
▌特别提示-Neil Lawrence最新深度高斯过程PPT下载
请关注专知公众号