百度Apollo发布海量自动驾驶数据集,还有两项重磅挑战赛

作者 | 费棋

近日, ApolloScape 宣布开放了大规模自动驾驶数据集。

它是 Apollo 自动驾驶项目的一个研究型项目,旨在促进自动驾驶的各方面创新,号称是世界上最大自主驾驶技术开源数据集。

根据 ApolloScape 官方介绍,它开放了对像素级标注的场景解析数据集和仿真工具的访问,并将定期添加新的数据集和新功能。

▌场景解析数据集

场景解析是自动驾驶的核心能力,他们通过高精度车载传感器采集并标注了大量道路场景。ApolloScape 发布的整个数据集包含数十万帧逐像素语义分割标注的高分辨率图像数据和与其对应的逐像素语义标注、稠密点云、立体图像、立体全景图像。为便于研究人员更好利用数据集的价值,他们在数据集中定义了共 26 个不同语义项的数据实例(例如汽车、自行车、行人、建筑、路灯等),而且并将进一步涵盖更复杂的环境、天气和交通状况等。截止目前,他们的数据集公开可以下载的数据量有 4 个。

在传感器与数据采集方面,他们采用的装备有 RIEGL VMX-1HA 移动测绘系统的中尺寸多功能越野车进行数据采集。该系统包括两个 LiDAR 传感器(每秒 500 条扫描线,覆盖 420 米内的 360 度视角),一部分 INS / GNSS 单元以及两个前向相机(VMX-CS6,3384 x 2710)。数据的采集频率为每米一张图像。

车载传感器采集车

数据概括

预计「场景解析」数据集将提供 20 万张附有对应的语义标注与深度信息的图像数据(截止到2018 年 3 月 8 日,提供了 80000+ 张图像),将分为训练集,验证集和测试集三部分,并提供文件列表。训练集和验证集用于设计算法和训练模型,包括图像和相对应的语义标注与深度信息。测试集的语义标注图像将用于内部测试,不提供下载。

RGB 图像总数:200000

深度图像总数: 200000

类别标注总数: 25

车道线标注总数: 28

图像分辨率: 3384 x 2710

GPS 轨迹: 有

相机内部和外部参数: 有

两帧图像之间的距离: 1 米

数据集示例

点云示例

深度图

数据集结构

数据集文件夹结构如下:

{root} / {type} / {road id} _ {level} / {record id} / {camera id} / {timestamp} _ {camera id} {ext}

  • root: 用户定义的根文件夹
  • type: 当前版本中有三种数据类型,即 ColorImage,Label 和 Pose。
  • road id: 道路 ID,例如 road001,road002。
  • level: seg 表示标签仅包含像素级别标签,ins 表示标签包含像素级别和实例级别标签。
  • record id: 记录是例如 Record001,Record002。每个记录包含多达几千个图像。
  • camera id: 采集系统所使用的两个前置相机,即相机 5 和相机 6。
  • timestamp: 图像名称的第一部分。
  • camera id: 图像名称的第二部分。
  • ext: 文件的扩展名。彩色图像为.jpg,标签图像为_bin.png,实例级标签的多边形列表为.json,实例级标签为_instanceIds.png。

每个相机和每个记录只有一个姿态文件(即 pose.txt)。该姿态文件包含相应摄像机和记录的所有图像的所有外部参数。姿势文件中每行的格式如下所示:

r00 r01 r02 t0 r10 r11 r12 t1 r20 r21 r22 t2 0 0 0 1 image_name

相机已经很好地经过了校准。相机的内在参数是:

Camera 5:

fx=2304.54786556982

fy=2305.875668062

Cx=1686.23787612802

Cy=1354.98486439791

Camera 6:

fx=2300.39065314361

fy=2301.31478860597

Cx=1713.21615190657

Cy=1342.91100799715

▌智能仿真工具

环境模拟用于自动驾驶在汽车和计算机行业引起了很多关注,它的主要挑战包括当自动驾驶汽车驾驶在有其他车辆、自行车或行人的道路时出现的安全问题。为了进行广泛测试和评估,需要开发出可用于测试的仿真系统,不仅适用于典型的相对安全的场景,而且还适用于不确定和危险的环境。他们目前的开放模拟工具包括 WorldSim 和 LogSim。他们也还在开发下一代技术,可用于生成真实世界驾驶场景和驾驶员行为的真实模拟。

▌挑战赛

CVPR 2018 自动驾驶研讨会:感知挑战赛

为了和外界共同推动自懂驾驶研究的先进技术,此前,百度研究院院长王海峰称,百度 Apollo 还将在今年的 CVPR (IEEE 国际计算机视觉与模式识别会议)上发起任务挑战赛。Apollo 将联合加州大学伯克利分校,在 CVPR 期间联合举办自动驾驶研讨会(Workshop on Autonomous Driving),并将基于 ApolloScape 的大规模数据集定义多项任务挑战。(相关赛程介绍:http://wad.ai/challenge.html)

在众多的自动驾驶技术中,环境感知与视觉社区最为相关。因此,他们发起的这项挑战即是为了了解计算机视觉算法在解决自动驾驶环境感知问题方面的现状。在这个挑战中,他们准备了许多具有精细注释的大规模数据集。基于数据集,他们定义了一组现实问题,并鼓励为自动驾驶创造新算法,而不只是应用于自动驾驶。

数据集

我们收集并注释了两个大型数据集。第一个由 Berkeley DeepDrive(BDD)提供。BDD 集包括 100K 个短视频剪辑(每个视频剪辑为 40 秒),每个视频剪辑中的一个关键帧都会进行注释。

第二套 ApolloScape 集由百度提供。ApolloScape 包含调查级别密集的 3D 点,并以视频速率注册了多视图 RGB 图像,每个像素和每个 3D 点都进行了语义标记。此外,还提供每张图像的精确位置。

任务

  • 任务 1:可驱动区域分割(Drivable Area Segmentation )

首要任务是可驱动区域分割。此任务要求系统查找车辆正在行驶的道路区域或可能潜在驾驶的道路区域。

  • 任务 2:道路对象检测(Road Object Detection)

该任务是检测与驾驶政策最相关的对象,更具体地说,要检测以下类别的对象:车辆、人和交通标志/信号。

  • 任务 3:语义分割的域自适应(Domain Adaption of Semantic Segmentation)

BDD 数据集与 ApolloScape 相结合的优势在于覆盖天气、时间和地理等多个领域。在这个任务中,参与者在其中一个条件下给予注释,并且需要语义分割在不同条件下捕获的测试图像。两种类型的适应性将被评估。一个是时间/天气条件; 另一个是地理适应性,更特别的是来自加州(美国)和北京(中国)的培训/测试。

  • 任务 4:实例级视频可移动对象分割(Instance-level Video Movable Object Segmentation)

在这个任务中,给予参与者一组具有良好像素级标记的视频序列,特别是车辆和行人等移动对象的实例也是标记。我们的目标是评估基于视频的场景解析的画面状态,这是一个由于缺乏精确标记而未被评估的任务。一些非常具有挑战性的环境被捕获了。相比之下,每帧的平均移动实例可以超过 50 个,而 KITTI 数据集中最多只能标注 15 辆汽车/行人。

IV 2018 智能汽车研讨会:智能仿真与导航挑战

除了 CVPR 2018 上的感知挑战赛,百度 Apollo 还将与 IV 2018 (The 2018 IEEE Intelligent Vehicles Symposium)联合举办一项仿真挑战。这项挑战将自动驾驶车辆投入到一个仿真路网中行驶,可以模仿真实的复杂驾驶场景和多车博弈过程,是目前最先进的智能驾驶仿真技术之一。

  • 范围和目标

模拟已成为为自动驾驶提供更多训练数据的主流方法,也是自动驾驶进行稳定性和用户体验的大规模测试。诸如 Carla 和 Autonovi 等开源模拟工具的优秀案例为学界和业界的研究团体提供了便利。许多从事自动驾驶能力研究的大公司正在投入大量精力开发优秀的模拟器(例如百度的 Apollo,谷歌的 CarCraft 等)。尽管仿真和规划对自动驾驶研究和开发有普遍兴趣,但仍有许多研究挑战用于开发可以轻松应用于自动驾驶主题的多功能仿真框架。

本文分享自微信公众号 - AI科技大本营(rgznai100)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-03-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏目标检测和深度学习

MIT 发明“雾中看车”新成像系统,雾天自动驾驶表现比人类更好

credit:Camera Culture 精彩回顾 2018 新智元产业跃迁 AI 技术峰会圆满结束,点击链接回顾大会盛况: 爱奇艺 http://w...

404100
来自专栏目标检测和深度学习

谷歌开启 Naturalist 2018 挑战赛,大型物种分类技术有望突破

雷锋网 AI 研习社按:计算机视觉技术从 70 年代到现在,40 多年时间得到迅速发展,许多计算机视觉的应用出现在了生产生活领域。尤其是到了 2012 年,基于...

36650
来自专栏罗超频道

Uber无人车撞人致死,对人类的新“登月计划”意味着什么?

自动驾驶技术,按照L1-L5分类,数字越高,自动驾驶程度越高,L5是自动驾驶玩家们的终极追求:全自动驾驶,只要地图上标志为公路的地方,都能自动驾驶。就像中国对无...

29660
来自专栏数据科学与人工智能

【动态】区块链、人工智能一个都不能少,谁有胆识做科技界的斜杠青年?

区块链与人工智能,可谓是绝代双骄,成了近年来最火热的两个概念。 在过去的一年时间里,区块链这一划时代的技术夺目地进入公众视野,被认为是当前最有可能带来颠覆性改变...

38870
来自专栏目标检测和深度学习

AI 挑战赛 | 基于百度 ApolloSpace 数据集的自动驾驶挑战赛

美国时间 3 月 8 日,百度方面宣布 Apollo 自动驾驶开放平台正式加入 DeepDrive 深度学习自动驾驶产业联盟,并发布了 Apollo 自动驾驶数...

36490
来自专栏AI科技评论

大会 | CVPR VUHCS Workshop征稿啦,附带5项极具吸引力的比赛

AI 科技评论按:CVPR 2018 将于 2018 年 06 月 18-22 日在美国盐湖城举办,除了主会议程,各式各样的 Workshop 也值得大家一探究...

30140
来自专栏罗超频道

王兴说美团2019年要片区规模应用无人车,下了一盘什么棋?

在北京向百度等企业发放首批无人车路测牌照后,自动驾驶汽车的曙光已经清晰可见。在许多人第一印象中,说到无人车可能会先想到乘用车,不过现在看来最先商用的无人车将来自...

38560
来自专栏新智元

“中国版特斯拉”绝地反击,自动驾驶开辟“第三条路”?

新智元报道 编辑:克雷格 【新智元导读】最近,中国宣布对进口汽车降低关税,这对中国车企来说,带来竞争结果并非全是挑战。下周,北京车展将开幕,这是中国2...

34170
来自专栏PPV课数据科学社区

AI人才报告 | AI稳超互联网平均薪资,哪些细分领域最受追捧?

【AI 科技大本营导读】人工智能在经历了 2017 年的迅速发展之后,逐步迎来了落地应用。AI 领域的人才需求也发生调整。近日,猎聘联合 GMIC 发布了《 2...

35660
来自专栏罗超频道

景驰加入百度Apollo,这出 “奥斯卡最佳剧情”证明了Apollo的不可替代

今天无人车初创公司景驰宣布,正式加入百度Apollo开放平台,成为Apollo合作伙伴,而这距离景驰前CEO王劲卸任才不到10天。消息一出,业界哗然。 ? 去年...

26350

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励