让DL可解释?这一份66页贝叶斯深度学习教程告诉你

【导读】贝叶斯深度学习对于理解深度学习这个黑盒子能提供可解释性,在深度学习理论研究中这几年也是非常地热。机器学习专家Andrew Gordon Wilson 在这个PPT教程详细讲述了模型选择、贝叶斯和频率的区别、贝叶斯推断、预测分布、Beta分布、高斯过程、神经网络、以及作者最新提出的Bayesian GAN

为什么需要使用贝叶斯深度学习(Bayesian Deep Learning)?

  • 一个强大的模型构建和理解泛化框架,
  • 不确定性表示(决策的关键),
  • 更好的点估计
  • 这是第二波神经网络结束时最成功的方法(Neal,1998),
  • 从概率论的角度来看,神经网络并不那么神秘。

为什么不呢?

  • 可能在计算上难以处理(但不必如此,作者提出很多解决方法)
  • 可能涉及很多个模块(但不一定)

在过去的两年里,作者将这些局限性作为一个非常富有成果的研究方向的一部分,并取得了令人振奋的进展。详细见PPT内容。

摘要

生成对抗网络(GANs)可以隐式地学习图像,音频和数据上丰富的分布表示,这些分布难以显式地进行建模。 作者提出了一种实用的贝叶斯公式,用于使用GAN进行无监督和半监督学习。

在此框架内,作者使用随机梯度哈密顿蒙特卡罗(Hamiltonian Monte Carlo)来边缘化生成器和判别器网络的权重。 这种方法简单直观,并且在没有任何标准干预(比如标签平滑或小批量判别)的情况下获得良好的性能。 通过探索生成器参数的表达后验,Bayesian GAN避免了模型崩溃,产生了可解释和多样化的候选样本,并为包括SVHN,CelebA和CIFAR-10在内的基准测试提供半监督学习的最好的(state-of-the-art)定量结果。 并且表现优于DCGAN,Wasserstein GAN和DCGAN。

https://arxiv.org/abs/1705.09558

https://github.com/andrewgordonwilson/bayesgan

请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“BDL2018” 就可以66页的 贝叶斯深度学习PPT 下载链接~

作者主页链接:

https://people.orie.cornell.edu/andrew/

附PPT原文:

-END-

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2018-08-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

OpenAI发文怒怼:对抗样本怎么不会对检测产生干扰了?

安妮 编译自 OpenAI官方博客 量子位出品 | 公众号 QbitAI 上周,arXiv上的论文《NO Need to Worry about Adversa...

3379
来自专栏新智元

详解 GAN 在自然语言处理中的问题:原理、技术及应用

【新智元导读】本文从 GAN 为什么没有在自然语言处理(NLP)中取得让人惊喜的成果出发,分析了原始 GAN 在 NLP 中的问题。 介绍和分析了近期将 GAN...

4688
来自专栏PPV课数据科学社区

文本数据的机器学习自动分类方法(上)

【编者按】:随着互联网技术的迅速发展与普及,如何对浩如烟海的数据进行分类、组织和管理,已经成为一个具有重要用途的研究课题。而在这些数据中,文本数据又是数量最大的...

5056
来自专栏AI2ML人工智能to机器学习

一步一步走向锥规划 - LS

一般来说凸优化(Convex Optimization, CO)中最一般的是锥规划 (Cone Programming, CP) 问题, 最简单的是最小二乘(...

971
来自专栏新智元

【Ian Goodfellow 强推】GAN 进展跟踪 10 大论文(附下载)

---- 编译:小潘、肖琴 【新智元导读】生成对抗网络GAN的提出者Ian Goodfellow在推特上推荐了10篇GAN论文,是跟踪GAN进展,了解最新技术...

50511
来自专栏来自地球男人的部落格

偏差(Bias)与方差(Variance)

1. 问题背景 NFL(No Free Lunch Theorem)告诉我们选择算法应当与具体问题相匹配,通常我们看一个算法的好坏就是看其泛化性能,但是对...

2889
来自专栏机器之心

学界 | 把酱油瓶放进菜篮子:UC Berkeley提出高度逼真的物体组合网络Compositional GAN

生成对抗网络(GAN)是在给定输入的条件下生成图像的一种强大方法。输入的格式可以是图像 [9,37,16,2,29,21]、文本短语 [33,24,23,11]...

1062
来自专栏机器之心

六种改进均未超越原版:谷歌新研究对GAN现状提出质疑

选自arXiv 机器之心编译 参与:李泽南、路雪、蒋思源 令人沮丧的结果:尽管目前很多GAN的衍生算法都声称自己要比原版GAN更强大,谷歌大脑的新研究却对这种主...

3607
来自专栏机器人网

卷积为什么如此强大?理解深度学习中的卷积

译自Tim Dettmers的Understanding Convolution in Deep Learning。有太多的公开课、教程在反复传颂卷积神经网络的...

3634
来自专栏AI科技大本营的专栏

标题:重磅 | ICML 2017 开幕,华人再获最佳论文奖(附历届引用量最高论文解读)

翻译 | AI科技大本营(rgznai100) 参与 | 尚岩奇、周翔 8 月 6 日,为期 6 天的国际机器学习大会 ICML 在澳大利亚悉尼正式拉开帷幕。据...

3344

扫码关注云+社区