专栏首页量子位数据不够,Waymo用GAN来凑:生成逼真相机图像,在仿真环境中训练无人车模型

数据不够,Waymo用GAN来凑:生成逼真相机图像,在仿真环境中训练无人车模型

鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI

疫情当下,Waymo等自动驾驶厂商暂时不能在现实世界的公共道路上进行训练、测试了。

不过,工程师们还可以在GTA,啊不,在仿真环境里接着跑车。

模拟环境里的场景、对象、传感器反馈通常是用虚幻引擎或者Unity这样的游戏引擎来创建的。

为了实现逼真的激光雷达等传感器建模,就需要大量的手动操作,想要获得足够多、足够复杂的数据,可得多费不少功夫。

数据不够,无人车标杆Waymo决定用GAN来凑。

这只GAN,名叫SurfelGAN,能基于无人车收集到的有限的激光雷达和摄像头数据,生成逼真的相机图像。

用GAN生成的数据训练,还是训练自动驾驶汽车,这到底靠谱不靠谱?

SurfelGAN

那么首先,一起来看看SurfelGAN是怎样炼成的。

主要有两个步骤:

首先,扫描目标环境,重建一个由大量有纹理的表面元素(Surfel)构成的场景。

然后,用相机轨迹对表面元素进行渲染,同时进行语义和实例分割。接着,通过GAN生成逼真的相机图像。

表面元素场景重建

为了忠实保留传感器信息,同时在计算和存储方面保持高效,研究人员提出了纹理增强表面元素地图表示方法

表面元素(surface element,缩写Surfel)适用于动态几何建模,一个对象由一组密集的点或带有光照信息的面元来表示。

研究人员将激光雷达扫描捕获的体素,转换为具有颜色的表面元素,并使其离散成 k×k 的网格。

由于光照条件的不同和相机相对姿势(距离和视角)的变化,每个表面元素在不同的帧中可能会有不同的外观,研究人员提出,通过创建一个由 n 个不同距离的 k×k 网格组成的编码簿,来增强表面元素表示。

在渲染阶段,该方法根据相机姿势来决定使用哪一个 k×k 块。

图中第二行,即为该方法的最终渲染效果。可以看到,与第一行基线方法相比,纹理增强表面元素图消除了很多伪影,更接近于第三行中的真实图像。

为了处理诸如车辆之类的动态对象,SurfelGAN还采用了Waymo开放数据集中的注释。来自目标对象的激光雷达扫描的数据会被积累下来,这样,在模拟环境中,就可以在任意位置完成车辆、行人的重建。

通过SurfelGAN合成图像

完成上面的步骤,模拟场景仍存在几何形状和纹理不完美的问题。

这时候,GAN模块就上场了。

训练设置了两个对称的编码-解码生成器,从Sufel图像到真实图像的GS→I,以及反过来从真实图像到Sufel图像的GI→S。同样也有两个判别器,分别针对Sufel域和真实域。

上图中,绿色的线代表有监督重建损失,红色的线代表对抗损失,蓝线/黄线为周期一致性损失。

输入数据包括配对数据和未配对数据。其中,未配对数据用来实现两个目的:

  • 提高判别器的泛化性能;
  • 通过强制循环一致性来规范生成器。

另外,由于表面元素图像的覆盖范围有限,渲染出的图像中包含了大面积的未知区域,并且,相机和表面元素之间的距离也引入了另一个不确定因素,研究人员采用了距离加权损失来稳定GAN的训练。

具体而言,在数据预处理过程中,先生成一个距离图,然后利用距离信息作为加权稀疏,对重构损失进行调节。

实验结果

最后,效果如何,还是要看看实验结果。

研究人员们基于Waymo Open Dataset(WOD)进行了实验。该数据集包括798个训练序列,和202个验证序列。每个序列包含20秒的摄像头数据和激光雷达数据。此外,还包括WOD中真的对车辆、行人的注释。

他们还从WOD中衍生出了一个新的数据集——Waymo Open Dataset-Novel View。在这个数据集中,根据相机扰动姿势,研究人员为原始数据集里的每一帧创建了新的表面元素渲染。

此外,还有9800个100帧短序列,用于真实图像的无配对训练。以及双摄像头-姿势数据集(DCP),用于测试模型的真实性。

可以看到,在检测器的鉴定下,SurfelGAN生成的最高质量图像将AP@50从52.1%拉升到了62.0%,与真实图像的61.9%持平。

Waymo认为,这样的结果为将来的动态对象建模和视频生成模拟系统奠定了坚实的基础。

华人一作

论文的第一作者,是Waymo的华人实习生Zhenpei Yang,他于2019年6月至8月间在Waymo完成了这项研究。

Zhenpei Yang本科毕业于清华大学自动化系,目前在德州大学奥斯汀分校攻读博士,研究方向是3D视觉和深度学习。

Waymo首席科学家Dragomir Anguelov,也是论文的作者之一。

参考链接

论文:https://arxiv.org/abs/2005.03844 VB报道:https://venturebeat.com/2020/05/20/waymo-is-using-ai-to-simulate-autonomous-vehicle-camera-data/

本文分享自微信公众号 - 量子位(QbitAI),作者:关注前沿科技

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-06-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 搞AI的产品经理该怎么写PRD?谷歌的导师教你

    最近,谷歌机器学习X 和TensorFlow X团队的产品领导者Clemens Mewald在Medium上发表了一篇文章,详细介绍在开发涉及到机器学习的产品时...

    量子位
  • 加强版CycleGAN!贾佳亚等提出卡通图与真实人脸转换模型,看女神突破次元壁长啥样

    港中文、哈工大和腾讯优图的一篇最新研究,可以将人脸照片转化成如同手绘版的卡通图,甚至还能反向转换,将二次元的卡通图像,转换成现实中可能的样子。

    量子位
  • 数据集查找神器!100个大型机器学习数据集都汇总在这了 | 资源

    网上各种数据集鱼龙混杂,质量也参差不齐,简直让人挑花了眼。想要获取大型数据集,还要挨个跑到各数据集的网站,两个字:麻烦。

    量子位
  • 拥抱开源,Waymo公布自动驾驶开放数据集

    据外媒报道,谷歌母公司Alphabet旗下自动驾驶公司Waymo公开了一部分开放数据集Waymo Open Dataset,其首席科学家Dragomir Ang...

    镁客网
  • 2017中国地方政府数据开放指数排名:上海、青岛位列前二,北京跌出前五

    大数据文摘
  • jQuery进阶前言

    在《jQuery入门》一文中,记录了jQuery选择器、属性与样式和DOM操作等内容,本文将对jQuery的事件以及Ajax相关知识点进行讲解。接下来就一起来学...

    贪挽懒月
  • 数据科学家应该掌握的5个工具

    即使是知识渊博的数据科学家也能提升他们的技术水平。当谈及到分析你编纂的数据时,有大量的工具可以帮助你更好的理解数据。我们与我们的数据科学指导者探讨了很久,最后总...

    小莹莹
  • 数据猿投融资频道上线,为你在大数据风口上打破信息不对称

    数据猿导读 哪些项目最受投资方欢迎?市场最期待的项目是什么?这些项目融资金额有多大?数据猿投融资频道已经上线,为创业公司和投资人提供最新鲜最全面的大数据领域投资...

    数据猿
  • 【1-3期】我的数据心经:欺诈发现的三种思路

    用户1756920
  • 信息社会中的生产力:云计算以及大数据

    信息社会是以数据和信息为主要生产要素,云计算和大数据在当前的信息社会中是不可替代的生产力。大量的数据也迫使人类建设大规模的IT基础设施的来承载数据。 云计算是当...

    静一

扫码关注云+社区

领取腾讯云代金券