专栏首页CreateAMindtorcs强化学习的图像生成低纬表示重建效果

torcs强化学习的图像生成低纬表示重建效果

  1. 在强化学习的问题中,策略网络学习到的是从状态空间到动作空间的映射。
  2. 状态空间和动作空间的大小决定了策略学习和探索的难易程度。
  3. 因此,高维的有噪音的图像作为状态输入之前需要有representation learning 的预训练的过程。首先训练一个神经网络将图像编码成有意义的低维隐变量,之后将这个训练好的网络嵌入到强化学习的策略网络之前处理图像数据。
  4. VAE的编码器可以学习一个低维的隐变量,但是以像素级的重建误差作为损失函数,最后输出的图像真实度较低。考虑结合GAN,计算原始图像在discriminator 的某一层的输出和原始图像经过encoder->generator->discriminator 在同一层的输出的误差作为特征级重建误差。联合训练VAE和GAN。
  5. 以上训练的隐变量知识与图像相关,并不一定包含强化学习决策需要的信息,因此增加一个从隐变量到reward的输出,使隐变量也能包含强化学习需要的信息。

上图from commaai paper

commaai的生成模型进行生成torcs道路画面,左侧为生成图像,右侧为实际游戏图像,两个画面为一个epoch的1万次循环训练的效果,下面跨度98个epoch中挑选了部分图片;生成效果的显现很快,很快生成的图像变得很清晰,但是大概在60epoch左右图像开始变模糊,后又恢复。

1

2 出现天空

3

4

5 画面大结构出现

6

7 车的画面也生成了,右侧第一张

8

9

0

1

2

3

1

2 有些清晰了

3

4

5

6

7

8

9

0

1

2

3

4

5

6

7

本文分享自微信公众号 - CreateAMind(createamind)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-09-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 生成模型学习的特征属性如何操作修改等介绍

    https://devblogs.nvidia.com/parallelforall/photo-editing-generative-adversarial-...

    用户1908973
  • StarGAN-多领域图像翻译

    http://blog.csdn.net/stdcoutzyx/article/details/78829232

    用户1908973
  • 拆解特斯拉AP2.0/2.5运算单元看未来无人驾驶域控制器的设计趋势2

    结合对DriveWorks的实际应用和性能评测,Autopilot2.0这样的硬件架构,到底能完成几级的自动驾驶呢?在此,做一些分析和分解。

    用户1908973
  • 教你两种黑掉“人工智能”的方法

    翻译 | AI 科技大本营 参与 | shawn 编辑 | Donna 近期,微软(Microsoft)和阿里巴巴(Alibaba)先后宣布,其人工智能系统在一...

    AI科技大本营
  • 学界 | 李飞飞学生最新论文:利用场景图生成图像

    利用结构化场景图生成图像,能够明确解析对象与对象之间关系,并可生成具有多个可识别对象的复杂图像。 AI 科技评论按:近日,李飞飞的学生 Justin Johns...

    AI科技评论
  • 十个生成模型(GANs)的最佳案例和原理 | 代码+论文

    王小新 编译 原文作者:Sumeet Agrawal 量子位 出品 | 公众号 QbitAI 生成对抗网络(GANs)是一种能“教会”计算机胜任人类工作的有趣方...

    量子位
  • MIT 更新最大自然灾害图像数据集,囊括 19 种灾害事件

    内容提要:麻省理工学院在最近 ECCV 2020 上提交的一篇论文中,发布了一套自然灾害图像数据集。这是迄今为止规模最大、质量最高的自然灾害卫星图像数据集。

    HyperAI超神经
  • 【风格化+GAN】感知对抗网络 PAN,一个框架搞定多种图像转换

    【新智元导读】pix2pix 又有更新:悉尼大学的 Chaoyue Wang 等人受生成对抗网络(GAN)启发,在已有的感知损失基础上,提出了感知对抗网络(Pe...

    新智元
  • 独家 | 2019 ICCV 收录论文:基于弱监督学习的病理影像分析框架

    恶性肿瘤是全球第二大死因,每年导致近千万人死亡。病理报告是肿瘤临床诊断和治疗的“金标准”,是癌症确诊和治疗的基本依据。为了缓解世界范围内病理医生短缺的现状,人工...

    数据派THU
  • 苹果机器学习博客解读CVPR论文:通过对抗训练从模拟的和无监督的图像中学习

    ? 苹果公司通过试验证明,使用细化后的图像进行训练可以大幅提高多种机器学习任务中模型的准确度。为了克服这种缺陷,他们制定了一种细化合成图像的方法,用以提高图像...

    AI科技大本营

扫码关注云+社区

领取腾讯云代金券