【干货】苹果 AI 负责人 Russ Salakhutdinov 最新演讲：深度生成模型定量评估（56 PPT）

【新智元导读】Russ Salakhutdinov 是苹果 AI 研发负责人，CMU 教授，也是著名的机器学习领域大牛。本文是 Russ 有关评估深度生成模型的讲座的 ppt。

本讲结构：

• 概要
• 退火重要性采样（AIS）
• 用于无向图模型的反向 AIS Estimator
• 评估 directed，decoder-based 生成模型

无监督学习→ 非概率模型、概率（生成）模型

Directed vs. Undirected Models

左：Helmholtz Machine / 变分自编码器

右：深度玻尔兹曼机

马尔可夫随机场

图模型：是用于表示随机变量之间依赖关系结构的强大框架。

受限玻尔兹曼机

模型选择

生成模型

模型A和模型B哪个是更好的生成模型？

一般来说，我们应该怎样选择模型？

在验证集上比较 P(x)：P(x) = f(x) / Z

我们需要得到分配函数 Z 的估值

简单重要性采样

退火重要性采样

退火重要性采样的运行

AIS 是重要性采样

具有几何平均值的RBM

用 MNIST 训练的受限玻尔兹曼机

左：目标分布上的样本

右：具有几何平均值的 AIS

Undirected Model 存在的问题

激励：RBM 抽样

运行马尔可夫链（吉布斯采样）

展开的RBM作为深度定向生成模型

Reverse AIS Estimator（RAISE）

MNIST

在 MNIST 上训练有 500 个隐藏单元的 RBM

初始分布均匀

Omniglot 数据集

在 Omniglot 上训练有 500 个隐藏单元的 RBM

MNIST 和 Omniglot 的结果

DBM（深度玻尔兹曼机）和 DBN（深度置信网络）

Decoder-Based 模型：将样本从简单分布转换为数据流

Directed vs. Undirected 模型

左：Helmholtz Machine / 变分自编码器

右：深度玻尔兹曼机

变分自编码器（VAE）

VAE：概率有向图模型，使用被称为编码器网络的近似推理模型。

GANs 和 GMMNs

GAN：是解码器和鉴别器网络之间的博弈训练的生成模型。

GMMN：采用最大平均差异（MMD）作为训练目标。

退火重要性采样（AIS）

AIS：通过引入一个中间分布序列来弥补先验和后验之间的差距。

两个架构，三个模型：VAE、GAN、GMMN

AIS 的验证：KDE vs. AIS

在模拟数据上的结果（KDE 使用100万样本）

MNIST 结果

• VAE 得到的对数似然性比 GAN 或 GMMN 更高。
• KDE 误差与模型之间的差异具有相同的数量级，不能用于可靠地比较对数似然性。
• 视觉上无法分辨出3个模型间的区别。
• 在我们的简单实验中，GAN 和 GMMN 没有过拟合。

完