【新智元导读】Russ Salakhutdinov 是苹果 AI 研发负责人,CMU 教授,也是著名的机器学习领域大牛。本文是 Russ 有关评估深度生成模型的讲座的 ppt。
本讲结构:
无监督学习→ 非概率模型、概率(生成)模型
Directed vs. Undirected Models
左:Helmholtz Machine / 变分自编码器
右:深度玻尔兹曼机
马尔可夫随机场
图模型:是用于表示随机变量之间依赖关系结构的强大框架。
受限玻尔兹曼机
模型选择
生成模型
模型A和模型B哪个是更好的生成模型?
一般来说,我们应该怎样选择模型?
在验证集上比较 P(x):P(x) = f(x) / Z
我们需要得到分配函数 Z 的估值
简单重要性采样
退火重要性采样
退火重要性采样的运行
AIS 是重要性采样
具有几何平均值的RBM
用 MNIST 训练的受限玻尔兹曼机
左:目标分布上的样本
右:具有几何平均值的 AIS
Undirected Model 存在的问题
激励:RBM 抽样
运行马尔可夫链(吉布斯采样)
展开的RBM作为深度定向生成模型
Reverse AIS Estimator(RAISE)
MNIST
在 MNIST 上训练有 500 个隐藏单元的 RBM
初始分布均匀
Omniglot 数据集
在 Omniglot 上训练有 500 个隐藏单元的 RBM
MNIST 和 Omniglot 的结果
DBM(深度玻尔兹曼机)和 DBN(深度置信网络)
Decoder-Based 模型:将样本从简单分布转换为数据流
Directed vs. Undirected 模型
左:Helmholtz Machine / 变分自编码器
右:深度玻尔兹曼机
变分自编码器(VAE)
VAE:概率有向图模型,使用被称为编码器网络的近似推理模型。
GANs 和 GMMNs
GAN:是解码器和鉴别器网络之间的博弈训练的生成模型。
GMMN:采用最大平均差异(MMD)作为训练目标。
退火重要性采样(AIS)
AIS:通过引入一个中间分布序列来弥补先验和后验之间的差距。
两个架构,三个模型:VAE、GAN、GMMN
AIS 的验证:KDE vs. AIS
在模拟数据上的结果(KDE 使用100万样本)
MNIST 结果
完