发能够「想象」与「推理」的机器:深度生成模型的原理与应用(Building Machines that Imagine and Reason: Principles and Applications of Deep Generative Models)
abstract:
深度生成模型为无监督学习问题提供了一种解决方案,无监督学习这类机器学习系统需要从无标记的数据流中发现出隐藏的结构。因为这些模型是生成式的,所以它们能够对自己所应用的世界生成丰富的意象,后者可以探索数据中的变化,推理所在世界的结构和行为,并从根本上帮助制定决策。该辅导课将关注如何使用深度生成模型构建有想象力的机器学习系统,和它们所支持的概率推理类型,以及它们被应用到决策制定和行动的方式。
深度生成模型拥有广泛应用,包括密度估计、图象降噪和修复、数据压缩、景物理解、表征学习、3D 景物构造、半监督分类、分级控制等等。在探索这些应用之后,我们会对生成式模型有个大致概念,该模型有三种类别:完全记录模型、变换模型和潜变量模型。不同模型有不同的推理原则,我们会探索不同的可选项。不同模型与推理组合产生不同算法,包括自动回归分布估计、变分自动编码器和生成式对立网络。虽然我们会强调深度生成模型,特别是潜变量的那类,但该辅导课的目的是探索贯穿机器学习的一般原则、工具和技巧。被重复讨论的主题包括贝叶斯深度学习、变分近似法、memoryless and amortised inference、和随机梯度估计。最后我们会着重讨论那些之前没被讨论过的主题,并想象生成模型的未来。最后的参考资料分类非常清晰!生成模型大梳理!
机器学习的动机:科学发现、发现智能的本质.......
为什么是生成模型:
理解和想象世界
使用概念推理和决策
计划未来
一些主题:
概率模型
贝叶斯深度学习、推理
推理和机器人控制等
六大部分内容:
生成模型地图概览
学习和推理
算法构建工具
VAE实例 等
图像修复
半监督分类
图像压缩
3d生成
快速的环境理解
一次生成
环境模拟重建
控制特征的学习
视觉概念学习
高效环境探索,paper:https://arxiv.org/abs/1606.01868
行动计划
上面各方面内容的提纲
生成模型进展
图像质量越来越好
三种生成模型,z为隐变量
很多种推理方法!12种
整合模型和推理
cnn with sgd
VAE
RBM
三种生成模型,z为隐变量
马尔科夫模型
全观察模型特点
dcgan
隐变量模型,
容易包含层级等级和深度
容易编码结构信息
推理和学习
证据确立
预测
假设验证
采样
变分推理
双采样测试
生成学习测试
整合变分推理和隐变量模型到推理网络里面-VAE
推理是压缩的一种
两种方式微分的不同点
两种方式的不同名字
浏览不同类型的VAE模型
离散和连续
静态、序列、值
微分与不可微分
3种设计选择
实现变分算法
结构序列VAEs
科学发现、概念推理、计划、控制、
阅读原文看视频,ppt下载地址:https://pan.baidu.com/s/1slb70A