让DL可解释？这一份66页贝叶斯深度学习教程告诉你

来源：专知

【导读】贝叶斯深度学习对于理解深度学习这个黑盒子能提供可解释性，在深度学习理论研究中这几年也是非常地热。机器学习专家Andrew Gordon Wilson 在这个PPT教程详细讲述了模型选择、贝叶斯和频率的区别、贝叶斯推断、预测分布、Beta分布、高斯过程、神经网络、以及作者最新提出的Bayesian GAN。

为什么需要使用贝叶斯深度学习（Bayesian Deep Learning）?

一个强大的模型构建和理解泛化框架，

不确定性表示(决策的关键)，

更好的点估计

这是第二波神经网络结束时最成功的方法（Neal，1998），

从概率论的角度来看，神经网络并不那么神秘。

为什么不呢?

可能在计算上难以处理（但不必如此，作者提出很多解决方法）

可能涉及很多个模块（但不一定）

在过去的两年里，作者将这些局限性作为一个非常富有成果的研究方向的一部分，并取得了令人振奋的进展。详细见PPT内容。

摘要

生成对抗网络（GANs）可以隐式地学习图像，音频和数据上丰富的分布表示，这些分布难以显式地进行建模。作者提出了一种实用的贝叶斯公式，用于使用GAN进行无监督和半监督学习。

在此框架内，作者使用随机梯度哈密顿蒙特卡罗（Hamiltonian Monte Carlo）来边缘化生成器和判别器网络的权重。 这种方法简单直观，并且在没有任何标准干预（比如标签平滑或小批量判别）的情况下获得良好的性能。 通过探索生成器参数的表达后验，Bayesian GAN避免了模型崩溃，产生了可解释和多样化的候选样本，并为包括SVHN，CelebA和CIFAR-10在内的基准测试提供半监督学习的最好的（state-of-the-art）定量结果。 并且表现优于DCGAN，Wasserstein GAN和DCGAN。

https://arxiv.org/abs/1705.09558

https://github.com/andrewgordonwilson/bayesgan

作者主页链接：

https://people.orie.cornell.edu/andrew/

附PPT原文：