从此,激光雷达和摄像头,就是一个东西了?

车栗子 发自 凹非寺 量子位 出品 | 公众号 QbitAI

最近几年,放在摄像头上的深度学习研究,发展很蓬勃。相比之下, 激光雷达 (LiDAR) 身上的学术进展并不太多。

可是,激光雷达采集的数据,有很多优点。比如空间信息丰富,比如光照不足也不影响感知,等等。

当然,也有缺点。激光雷达数据,缺乏RGB图像的原始分辨率、以及高效的阵列结构 (Array Structure) 。并且,3D点云很难在神经网络里编码

要是能把激光雷达和摄像头,变成一台设备就好了。

如何“淘汰”摄像头?

激光雷达厂商Ouster,是领域内独角兽Quanergy的前联合创始人Angus Pacala,出走之后建立的新公司。

Ouster联合创始人兼CEO

去年11月,公司推出了OS-1激光雷达,想要从这里开始,打破激光雷达与摄像头的界限

中心思想是,只要激光雷达的数据足够好,就算专为处理RGB图像 而生的深度学习算法,也可以拿来用。

Pacala说,现在OS-1可以实时输出固定分辨率的深度图像 (Depth Image) ,信号图像 (Signal Image) 以及环境图像 (Ambient Image) 。

这些任务都不需要摄像头的参与。

高速相对运动中,容易产生果冻效应

数据层与数据层之间,是空间相关的。拍摄高速运动的物体,也不容易产生果冻效应 (Shutter Effects) 。

另外,OS-1的光圈,比大多数单反相机的光圈要大,适合光照不足的场景。

团队还开发了光敏度很低的光子计数ASIC,在低光照的情况下采集环境图像。

自上而下:环境、强度、范围图像,以及点云

设备可以在近红外波段捕捉信号环境信息,获得的数据,跟普通可见光图像差不太多。

这样,分析RGB图像用的算法,也可以处理激光雷达的数据。

小伙伴们还可以用Ouster (刚刚进行了固件升级) 的开源驱动,把数据转换成360度的全景动态:

动图有压缩

传感器输出的数据,不需要预处理,就是这样的效果。

数据跑一跑

就像刚才说的,只要数据够好,就可以用那些为摄像头开发的算法,来做深度学习。

深度强度环境信息,编码成向量。就像RGB图像可以编码成红绿蓝通道一样。

所以,OS-1的数据质量究竟怎么样?

数据跑得很开心

Pacala说,他们用过的算法,和激光雷达的合作都很愉快。

举个栗子,他们训练了一个像素语义分类器,来分辨可以行驶的道路,其他汽车,行人,以及自行车。

这里是旧金山,在英伟达GTX 1060上运行分类器,实时生成了这样的**语义分割**效果:

语义分割:路是路车是车

这是团队做的第一个实现。

数据是逐像素的数据,所以能够无缝将2D翻译成3D帧,来做边框估计 (Bounding Box Estimation) 这类实时处理。

除此之外,团队还把深度、信号和周围环境分开单独放进神经网络里去跑。

一个栗子,用了SuperPoint项目里预训练的神经网络,来跑强度深度图像。

网络是在RGB图像上训练的,从来没接触过激光雷达/深度数据。初次见面,却一见如故:

还是语义分割,只是单独跑了强度 (上) 和深度 (下) 数据

Pacala说,激光雷达测距,在隧道、高速公路这样的规则几何环境里,可能不是很开心;而视觉测距,会在缺乏**质地**变化、缺乏**光照**的情况下,无所适从。

OS-1用多模态的方法,把两者结合起来,疗效就不一样。

1 + 1 > 2,这大概就是Ouster想要表达的意思。

还不算真正上路

2015年年初,Angus Pacala离开Quanergy。

同年,Ouster在硅谷成立。

傲视群雄

2017年12月,公司宣布完成2,700万美元A轮融资,并同时推出了售价3,500美元的OS-1。

脚步不算快,但也算找到了自己要走的路。

图像语义分割算法,初步肯定了他们的成果。

不过,融合了摄像头属性的激光雷达,搭载到自动驾驶车上会有怎样的表现,还是未知。

Medium原文传送门:

https://medium.com/ouster/the-camera-is-in-the-lidar-6fcf77e7dfa6

GitHub传送门:

https://github.com/ouster-LIDAR

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-09-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

动态 | 如何让无人机灵活穿越满是障碍的房间?训练一个循环神经网络试试看

如今,深度学习已经在语音识别、计算机视觉等多个应用领域取得了重大突破。然而,要说到它在机器人领域的发展,那就要另当别论了——深度学习在机器人领域,不仅发展速度慢...

3499
来自专栏AI研习社

CV 届的金鸡百花奖:盘点我心中的 CVPR 2018 创意 TOP10

2018 计算机视觉与模式识别会议 (CVPR) 上周在美国盐湖城举行,它是世界计算机视觉领域的顶级会议。今年,CVPR 收到了主要会议论文投稿 3300 份,...

1633
来自专栏AI科技评论

大会直击|微软亚洲研究院刘铁岩:深度学习成功的秘密

9月9日,2016湖南人工智能湖南论坛在长沙举办,大会期间,来自国内外的许多顶级专家在会上给我们做了报告,下面是雷锋网根据微软亚洲研究院刘铁岩教授的现场精华整理...

3516
来自专栏数据科学与人工智能

【大规模机器学习】从NIPS2014大会看机器学习新趋势

编者按:John Platt是微软的杰出科学家,也是微软在机器学习领域的领军人物。加入微软17年,一直在机器学习领域埋首耕耘。Platt也是SVM最快的加速算法...

2615
来自专栏CSDN技术头条

2015伦敦深度学习峰会笔记:来自DeepMind、Clarifai等大神的分享

上周,我有机会参加在伦敦举行的第三届深度学习峰会,上两届分别在旧金山和波士顿举行。 深度学习峰会由 RE.WORK主办,汇集了从工业领域到学术领域不同背景的专业...

1878
来自专栏机器学习算法与Python学习

CVPR 2018,盘点我心中的创意 TOP10

2018 计算机视觉与模式识别会议 (CVPR) 上周在美国盐湖城举行,它是世界计算机视觉领域的顶级会议。今年,CVPR 收到了主要会议论文投稿 3300 份,...

1100
来自专栏人工智能头条

2015伦敦深度学习峰会:来自DeepMind、Clarifai、雅虎等大神的分享

2204
来自专栏机器之心

揭开深度学习黑箱:希伯来大学计算机科学教授提出「信息瓶颈」

选自QuantaMagazine 作者:Natalie Wolchover 机器之心编译 参与:黄小天、刘晓坤、路雪 耶路撒冷希伯来大学的计算机与神经科学家 N...

3858
来自专栏IT派

揭开黑箱:希伯来大学计算机科学教授提出「信息瓶颈」

如今「深度神经网络」已经学会对话、驾驶汽车、打视频游戏、玩围棋、绘画并辅助科研,这使其人类构建者很是困惑,并为深度学习算法的成果深感意外。这些学习系统的设计并没...

3587
来自专栏人工智能头条

CCAI 2017 | 香港科技大学计算机系主任杨强:论深度学习的迁移模型

862

扫码关注云+社区

领取腾讯云代金券