影子追踪!MIT让自动驾驶练出“透视眼”,看影子就知道有无物体靠近

大数据文摘出品

来源:MIT News

编译:啤酒泡泡、钱天培

观察光影变换,就能知晓有“敌人”在逼近——这听起来是不是很像武侠小说呢?

可没有那么玄乎。MIT的工程师告诉你,他的AI系统就能做到!

为了改善自动驾驶系统的安全性,MIT的几位工程师近日开发了一个新的系统。它可以识别地面上的影子,进而判断拐角处是否有物体正在靠近车辆。

未来,自动驾驶车辆可以使用这个系统及时避免可能发生的车祸,比如从建筑物拐角出现的车辆和行人。不久的将来,医院大厅里用来传递药品或是提供补给的机器人也可以使用这个系统来避免撞到人。

比传统的LiDAR系统快了0.5~1秒

在一篇即将在下周IROS的国际会议所展示的论文里,研究人员为我们展示了这项成果。研究人员设计了两个场景,在停车场的拐角处的自动驾驶车辆和大厅里导航的自动轮椅。当感应到有车辆靠近时,这款基于车辆的系统的制动时间比传统的LiDAR系统(只能探测到可见物体的激光雷达)快了0.5~1秒。

研究人员表示,0.5-1秒看上去很短,但是对于一个快速移动的自动驾驶车辆而言,这不到一秒的提升却很重要。

“在某些场景下,比如机器人在有移动物体和人群的环境中移动,我们的方法可以预先警告机器人,提示有物体正在向角落移动,车辆会根据提示降低速度、调整路线、提前做好准备以避免碰撞。”论文作者、计算机科学和人工智能实验室(CSAIL)负责人补充道。

“我们的理想是为街上正在快速移动的车辆提供类似‘X光’的视角辅助。”

但是,目前这个系统只接受了室内环境的检验。室内的机器移动速度很慢而且光照条件波动很小,这使得该系统很容易探测并分析影子。

ShadowCam的扩展

研究人员基于“ShadowCam”系统开发了利用计算机视觉技术检测并分类地面影子图像的系统。MIT的William Freeman 教授和Antonio Torralba教授参与了该系统的前期工作(并未在IROS论文署名),并在2017年和2018年的会议上展示了研究结果。

ShadowCam使用了一连串摄像头对准固定区域(比如拐角前的地面区域)进行拍摄,作为系统的输入数据。系统通过分析一张张图片来记录光照强度随时间的变化,以此推断是否有物体正在远离或靠近。

有些变化时肉眼看不见或者很难分辨,因而需要通过物体和环境的多种性质才能做判断。而ShadowCam通过分析收集到信息,将每张图片分类为静止物体或是移动物体。如果系统检测到移动物体,那么系统会自动做出调整。

将ShadowCam应用于自动驾驶车辆还需要一些改进。例如,早期版本需要对场地添加增强的标签(AprilTags,类似简化的二维码)。机器人通过扫描AprilTags来确定自己的空间位置以及行进方向。ShadowCam利用这些标记代表环境的特点,并重点关注那些可能有影子的像素区域上。但是在实际环境中,使用AprilTags是不现实的。

于是,研究人员发明了一个新的处理方法,它结合了图像配准和一种新的视觉里程计算技术。在计算机视觉里,图像配准将多个图片重叠起来以发现图片间的变化。例如,医学图像配准将多个医学扫描图像重叠进行比较,用于分析病体在解剖学上的差异。

视觉里程计(已用于火星探测器)可以通过分析一系列图片中的位置和几何空间特征来实时地估计摄像头的运动。研究人员使用了“Direct Sparse Odometry”(DSO)技术,它可以计算环境中的特征位点,达到与AprilTags标记法类似的效果。

NASA用ShadowCam执行月球任务

重要的是,DSO技术可以绘制环境特征位点的3D云图,并利用计算机视觉工程挑选出你关注的某个区域内的环境特征位点,比如靠近拐角的地面(此前,关注的区域需要事先手动标记)。

ShadowCam收集了一系列关注区域的图片,因此它需要使用DSO图像配准方法将来自同一机器视角的图片叠加分析。尽管机器人在移动,它仍旧可以关注到影子所在的某一小块像素区域,以发现图片间存在的微小差异。

另一个技术是信号放大,该技术在第一篇论文中介绍过。包含影子的像素点会提高颜色的亮度以此降低信噪比。这项技术可以放大影子变化产生的微弱信号,使其能被检测到。如果被增强的信号达到一定的阈值(这部分取决于该像素区域与相邻区域的差异有多大),那么ShadowCam会把图片分类为“运动”。根据信号的强弱,系统会告知汽车或者机器人是减速或是停止。

“检测到这个信号后,你就得小心了,这意味着可能有人正从拐角或是停止的车辆间跑出来,从而让自动驾驶车辆减速或是完全停止。”Naser说。

无标记测试

在一项测试中,研究人员分别使用AprilTags标记法和基于DSO的方法评估了系统在分类移动物体和静止物体的表现。当人们经过拐角进入轮椅的既定路线时,自动驾驶的轮椅会朝着大厅拐角的方向走去。两种方法都取得了70%的准确率,这表明以后可以不再需要AprilTags标记法。

在另一项测试中,研究人员将ShadowCam安装到一辆停在地下车库的自动驾驶汽车中,并且关掉了车灯,用来模拟夜间的车辆行驶环境。他们对比了该系统和LiDAR在检测车辆上的表现。实验显示,ShadowCam检测柱后车辆所用的时间比LiDAR快了0.72秒。更重要的是,研究人员将ShadowCam调试到适用于车库光线状态的模式,系统的分类准确率达到了约86%。

接下来,研究人员将继续完善该系统,使其能在不同的室内室外光照条件下工作。未来也会出现各种通过影子检测速度的办法,实现目标区域内的检测影子的自动化。

相关报道:

http://news.mit.edu/2019/helping-autonomous-vehicles-see-around-corners-1028

本文分享自微信公众号 - 大数据文摘(BigDataDigest)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

ICCV 2019 | 一种基于卷积神经网络的驾驶员和安全带检测的灵活体系结构

作者 | BBuf 单位 | 北京鼎汉技术有限公司 算法工程师(CV) 编辑 | 唐里

10320
来自专栏开发架构二三事

netty源码分析四之客户端接入与数据写出

在上文Bootstrap初始化流程分析中我们知道,在NioServerSocketChannel进行register时,会调用eventLoop.execute...

4300
来自专栏芋道源码1024

树莓派上利用 Tensorflow 实现小车的自动驾驶

github传送门:https://github.com/Timthony/self_drive

8210
来自专栏芋道源码1024

天池中间件大赛 Dubbo Mesh 优化总结(QPS 从 1000 到 6850)

天池中间件大赛的初赛在今早终于正式结束了,公众号停更了一个月,主要原因就是博主的空余时间几乎全花在这个比赛上,第一赛季结束,做下参赛总结,总的来说,收获不小。

12340
来自专栏曲水流觞TechRill

浅谈NIO

说到NIO大家都不会陌生,它是JDK中提供的IO工具集。 它又被称作为New I/O或Non Blocking I/O。相较于传统面向流的java.io,nio...

11420
来自专栏Jimoer

Java NIO之Java中的IO分类

前面两篇文章(Java NIO之理解I/O模型(一)、Java NIO之理解I/O模型(二))介绍了,IO的机制,以及几种IO模型的内容,还有涉及到的设计模式。...

6720
来自专栏大数据文摘

由“竞”转“争”的时代,怎样才能把无人驾驶车安全地开上街道?

2019年9月,我们报道了无人驾驶汽车项目百度Robotaxi在长沙落地运营的一些情况。就在最近的一周内,Google旗下的Waymo也有曝光出他们即将要“拿掉...

4110
来自专栏机器学习AI算法工程

tensorflow使用object detection实现目标检测超详细全流程(视频+图像集检测)

参考原始代码:https://github.com/tensorflow/models/tree/master/research 本文以mobilenet-ss...

7620
来自专栏网络交换FPGA

TSN、智能驾驶和边缘计算有什么关系?

昨天,一则新闻在时间确定性网络群里刷屏了:创时科技开业,上汽智能驾驶又进关键一步。对于时间触发以太网和TTTech公司,笔者曾在文章一个人,一个想法,一家公司和...

9610
来自专栏AI科技评论

MSRA院长洪小文:作为与AI共生的第一代人类,应 AI + HI 和谐共同进化

AI科技评论消息,2019年10月17日上午,第十六届 CNCC 2019 正式在苏州金鸡湖国际会议中心开幕,雷锋网作为战略合作媒体,对大会进行全程报道。

4710

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励