新智元推荐
来源:ermongroup.github.io
编辑:肖琴
【新智元导读】本文是IJCAI 2018的深度生成模型tutorial,作者是斯坦福大学PH.D Aditya Grover,长达115页的slides非常详尽地介绍了主要的生成模型和代表性的应用,希望对大家的学习有所帮助。
PPT下载地址:
https://drive.google.com/file/d/1uwvXkKfrOjYsRKLO7RK4KbvpWmu_YPN_/view
生成模型是图模型和概率编程语言中概率推理的关键模型。最近,使用神经网络对这些模型进行参数化,以及使用基于梯度的技术进行随机优化的最新进展,使得可以跨多种模态和应用程序对高维数据进行可扩展建模。
本教程的前半部分将提供对深度生成模型的主要家庭成员的整体回顾,包括生成对抗网络、变分自编码器和自回归模型。对于每个模型,我们都将深入讨论概率公式、学习算法以及与其他模型的关系。
本教程的后半部分将演示如何在一组具有代表性的推理任务中使用深度生成模型:半监督学习、模仿学习、对抗样本防御,以及压缩感知。
最后,我们将讨论当前该领域面临的挑战,并展望未来的研究方向。
目录
第一部分:
第二部分:
生成建模概述、与判别模型的对比
生成模型应用领域:
统计生成模型
判别 vs. 生成
生成模型中的学习
给定:来自数据分布和模型家族的样本
目标是:尽可能地接近数据分布
挑战:如何评价和优化数据分布和模型分布之间的接近性(closeness)?
最大似然估计
解决方案1: = KL 散度
最大似然估计
易处理似然性(Tractable likelihoods):有向模型,如自回归模型
难处理似然性:无向模型,如受限玻尔兹曼机(RBM);有向模型,如变分自编码器(VAE)
intractable likelihoods的替代选择:
- 使用MCMC或变分推理进行近似推理
- 利用对抗训练进行 Likelihood-free的推理
基于似然性的生成模型
关键设计选择
有向、完全观察的图模型
这里的关键想法是:将联合分布分解为易处理条件的乘积
学习和推理
基于神经网络的参数化
基于MLP的参数化
基于RNN的参数化
基于CNN的参数化
likelihood-free的生成模型
likelihood-free的生成模型
生成对抗网络
这里的关键想法是:generator(生成器)和discriminator(判别器)两者的博弈
对于一个固定的生成器,判别器最大化负交叉熵
深度生成模型的应用:半监督学习、模仿学习、对抗样本、压缩感知
半监督学习
在这个例子中,我们可以如何利用这些未标记的数据呢?
步骤1:学习标记数据和未标记数据的潜在变量生成模型
步骤2:使用z作为特征,训练分类器(例如SVM),仅使用有标记的部分
半监督学习的结果
模仿学习
有几个现有的方法:
我们的方法是:生成式的潜变量模型
对抗样本
添加微小的噪声,最先进的分类器都有可能被欺骗!
检测对抗样本
迁移压缩感知
从源、数据丰富的域迁移到目标、数据饥渴的域
总结
1. 生成模型的杀手级应用是什么?
2. 什么是正确的评估指标?
3. 在推理中是否存在基本的权衡?