【干货】IJCAI:深入浅出讲解深度生成模型(115 PPT)


新智元推荐

来源:ermongroup.github.io

编辑:肖琴

【新智元导读】本文是IJCAI 2018的深度生成模型tutorial,作者是斯坦福大学PH.D Aditya Grover,长达115页的slides非常详尽地介绍了主要的生成模型和代表性的应用,希望对大家的学习有所帮助。

PPT下载地址:

https://drive.google.com/file/d/1uwvXkKfrOjYsRKLO7RK4KbvpWmu_YPN_/view

生成模型是图模型和概率编程语言中概率推理的关键模型。最近,使用神经网络对这些模型进行参数化,以及使用基于梯度的技术进行随机优化的最新进展,使得可以跨多种模态和应用程序对高维数据进行可扩展建模。

本教程的前半部分将提供对深度生成模型的主要家庭成员的整体回顾,包括生成对抗网络、变分自编码器和自回归模型。对于每个模型,我们都将深入讨论概率公式、学习算法以及与其他模型的关系。

本教程的后半部分将演示如何在一组具有代表性的推理任务中使用深度生成模型:半监督学习、模仿学习、对抗样本防御,以及压缩感知。

最后,我们将讨论当前该领域面临的挑战,并展望未来的研究方向。

目录

第一部分:

  • 生成建模的动机,以及与判别模型的对比
  • 生成模型的定义和特征:估计密度、模拟数据、学习表示
  • 传统的生成建模方法,以及深度神经网络在有效参数化中的作用
  • 基于学习算法的生成模型的分类:likelihood-based的学习和likelihood-free的学习
  • Likelihood-based学习实例:
  • 自回归模型(定向,完全观察)
  • 变分自编码器(定向,潜变量)

第二部分:

  • Likelihood-based学习实例(续):
  • 规范化流模型
  • likelihood-free学习实例化:
  • 生成对抗网络
  • 深度生成模型的应用
  • 半监督学习
  • 模仿学习
  • 对抗样本
  • 压缩感知
  • 生成模型未来研究的主要挑战和展望

生成建模概述、与判别模型的对比

生成模型应用领域:

  • 计算机视觉
  • 计算语音
  • 自然语言处理
  • 计算机视觉/机器人学

统计生成模型

判别 vs. 生成

生成模型中的学习

给定:来自数据分布和模型家族的样本

目标是:尽可能地接近数据分布

挑战:如何评价和优化数据分布和模型分布之间的接近性(closeness)?

最大似然估计

解决方案1: = KL 散度

  • 统计学上有效
  • 需要可跟踪地评估或优化似然性

最大似然估计

易处理似然性(Tractable likelihoods):有向模型,如自回归模型

难处理似然性:无向模型,如受限玻尔兹曼机(RBM);有向模型,如变分自编码器(VAE)

intractable likelihoods的替代选择:

- 使用MCMC或变分推理进行近似推理

- 利用对抗训练进行 Likelihood-free的推理

基于似然性的生成模型

  • 提供一个对数似然的解析表达式,即 log N
  • 学习涉及(近似)评估模型对数似然相对于参数的梯度

关键设计选择

  • 有向(Directed)和无向(undirected)
  • 完全观察 vs. 潜在变量

有向、完全观察的图模型

这里的关键想法是:将联合分布分解为易处理条件的乘积

学习和推理

  • 学习最大化数据集上的模型对数似然
  • 易处理条件允许精确的似然评估
  • 训练期间并行的条件评估
  • 有向模型允许ancestral采样,每次一个变量

基于神经网络的参数化

基于MLP的参数化

基于RNN的参数化

基于CNN的参数化

likelihood-free的生成模型

likelihood-free的生成模型

  • 最佳生成模型:最佳样本和最高的对数似然
  • 对于不完美的模型,对数似然和样本是不相关的
  • Likelihood-free的学习考虑的目标不直接依赖于似然函数

生成对抗网络

这里的关键想法是:generator(生成器)discriminator(判别器)两者的博弈

  • 判别器区分真实数据集样本和来自生成器的假样本
  • 生成器生成可以欺骗判别器的样本

对于一个固定的生成器,判别器最大化负交叉熵

GAN动物园

深度生成模型的应用:半监督学习、模仿学习、对抗样本、压缩感知

半监督学习

在这个例子中,我们可以如何利用这些未标记的数据呢?

步骤1:学习标记数据和未标记数据的潜在变量生成模型

步骤2:使用z作为特征,训练分类器(例如SVM),仅使用有标记的部分

半监督学习的结果

模仿学习

有几个现有的方法:

  • 行为克隆(Behavioral cloning)
  • 逆向强化学习
  • 学徒学习(Apprenticeship learning)

我们的方法是:生成式的潜变量模型

对抗样本

添加微小的噪声,最先进的分类器都有可能被欺骗!

检测对抗样本

迁移压缩感知

从源、数据丰富的域迁移到目标、数据饥渴的域

总结

1. 生成模型的杀手级应用是什么?

  • 基于模型的RL?

2. 什么是正确的评估指标?

  • 从根本上说,它是无监督学习。评估指标定义不明确。

3. 在推理中是否存在基本的权衡?

  • 采样
  • 评估
  • 潜在特征

本文分享自微信公众号 - 新智元(AI_era)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-07-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯社交用户体验设计

ISUX Xcube智能一键生成H5

51120
来自专栏FSociety

SQL中GROUP BY用法示例

GROUP BY我们可以先从字面上来理解,GROUP表示分组,BY后面写字段名,就表示根据哪个字段进行分组,如果有用Excel比较多的话,GROUP BY比较类...

5.1K20
来自专栏怀英的自我修炼

考研英语-1-导学

英二图表作文要重视。总体而言,英语一会比英语二难点。不过就写作而言,英语二会比英语一有难度,毕竟图表作文并不好写。

11710
来自专栏腾讯高校合作

【倒计时7天】2018教育部-腾讯公司产学合作协同育人项目申请即将截止!

15520
来自专栏钱塘大数据

中国互联网协会发布:《2018中国互联网发展报告》

在2018中国互联网大会闭幕论坛上,中国互联网协会正式发布《中国互联网发展报告2018》(以下简称《报告》)。《中国互联网发展报告》是由中国互联网协会与中国互联...

13450
来自专栏前端桃园

知识体系解决迷茫的你

最近在星球里群里都有小伙伴说道自己对未来的路比较迷茫,一旦闲下来就不知道自己改干啥,今天我这篇文章就是让你觉得一天给你 25 个小时你都不够用,觉得睡觉都是浪费...

20540
来自专栏haifeiWu与他朋友们的专栏

复杂业务下向Mysql导入30万条数据代码优化的踩坑记录

从毕业到现在第一次接触到超过30万条数据导入MySQL的场景(有点low),就是在顺丰公司接入我司EMM产品时需要将AD中的员工数据导入MySQL中,因此楼主负...

27840
来自专栏Ken的杂谈

【系统设置】CentOS 修改机器名

17830
来自专栏钱塘大数据

理工男图解零维到十维空间,烧脑已过度,受不了啦!

让我们从一个点开始,和我们几何意义上的点一样,它没有大小、没有维度。它只是被想象出来的、作为标志一个位置的点。它什么也没有,空间、时间通通不存在,这就是零维度。

31530
来自专栏微信公众号:小白课代表

不只是软件,在线也可以免费下载百度文库了。

不管是学生,还是职场员工,下载各种文档几乎是不可避免的,各种XXX.docx,XXX.pptx更是家常便饭,人们最常用的就是百度文库,豆丁文库,道客巴巴这些下载...

44130

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励