Ouster将相机与激光雷达融合,并更新了开源驱动程序

编译:chux

出品:ATYUN订阅号

当Ouster三年前开始开发OS-1时,相机的深度学习研究超过了激光雷达研究。激光雷达数据具有令人难以置信的好处,丰富的空间信息和照明无法识别也能感应,但它缺乏原始分辨率和相机图像的高效阵列结构,并且3D点云仍然更难以在神经网络或硬件过程中编码加速。

考虑到两种传感模式之间的权衡,Ouster从一开始就将激光雷达和相机的最佳方面集中在一个设备中。今天,Ouster正在发布固件升级并更新到开源驱动程序,以实现这一目标。OS-1激光雷达现在可以实时输出固定分辨率的深度图像,信号图像和环境图像,所有这些都不需要摄像头。数据层完全空间相关,零时间不匹配或快门效应,每像素16位和线性照片响应。

从OS-1输出的同时实时图像层。你从上到下看到的是环境,强度,范围和点云,所有这些都来自Ouster的激光雷达。请注意,环境图像捕获树木和车辆的阴影。

OS-1的光学系统比大多数数码单反相机具有更大的光圈,Ouster开发的光子计数ASIC具有极低的光敏度,因此即使在低光照条件下也能收集环境图像。OS-1捕获近红外信号和环境数据,因此数据非常类似于相同场景的可见光图像,这使数据具有自然的外观,并且为摄像机开发的算法很有可能很好地转换为数据。在未来,Ouster将努力从这些环境图像中去除固定模式噪声。

Ouster还更新了开源驱动程序,将这些数据层输出为固定分辨率的360度全景帧,以便客户立即开始使用新功能,Ouster将提供基于VTK构建的新的跨平台可视化工具,用于查看,录制,在Linux,Mac和Windows上并排播放图像和点云。传感器输出的数据不需要后期处理即可实现此功能,神奇之处在于硬件,驱动程序只是将流数据包组装成图像帧。

新开源可视化工具

视频:http://imgcdn.atyun.com/2018/09/Ouster-OS-1-64-generating-LIDAR-point-cloud-and-2D-ambient-signal-and-range-images-Oblique-View.mp4?_=1

目前多家激光雷达公司推出激光雷达/相机融合解决方案,通过将一个单独的相机与一个激光雷达共同安装,Ouster没有这样做,他们分享了一些OS-1传感器数据强大的例子,现在回到深度学习。

由于传感器在每个像素处输出具有深度,信号和环境数据的固定分辨率图像帧,因此能够将这些图像直接馈送到最初为相机开发的深度学习算法中。Ouster在矢量中编码深度,强度和环境信息,就像网络一样,彩色图像会在输入层对红色,绿色和蓝色通道进行编码。训练过的网络已经非常适用于新的激光雷达数据类型。

作为一个示例,Ouster训练了每像素语义分类器,以识别来自旧金山周围的一系列深度和强度帧的可驾驶道路,车辆,行人和骑自行车的人。Ouster能够在NVIDIA GTX 1060上实时运行生成的网络,并取得了令人鼓舞的成果,特别是考虑到这是尝试并第一个实现的研究。

视频:http://imgcdn.atyun.com/2018/09/Pixelwise-Semantic-Segmentation-on-OS-1-64-Data-1.mp4?_=2

由于每个像素都提供了所有数据,因此能够将2D蒙版无缝转换为3D帧,以进行额外的实时处理,如边界框估计和跟踪。

在其他情况下,Ouster选择将深度,信号和环境图像分开,并将它们独立地传递到同一网络。作为一个例子,团队从DeTone等人的SuperPoint项目中获取了预先训练好的网络,并直接在我们的强度和深度图像上运行它。网络在大量通用RGB图像上进行训练,从未见过深度/激光雷达数据,但强度和深度图像的结果令人惊叹:

视频:http://imgcdn.atyun.com/2018/09/Superpoint-on-OS-1-64-Data.mp4?_=3

仔细检查后,很明显网络正在拾取每个图像中的不同关键点。任何从事激光雷达和视觉测距的人都会掌握这个结果中所体现的冗余的价值。激光雷达测距仪在隧道和高速公路等几何均匀的环境中挣扎,而视觉测距仪则在无纹理和光线不足的环境中挣扎。OS-1的相机/激光雷达融合为这个长期存在的问题提供了多模式解决方案。

这些结果使我们相信,融合的激光雷达和相机数据远远超过其各部分的总和,期望未来激光雷达和相机之间的进一步融合。

Github和样本数据:www.github.com/ouster-LIDAR

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-09-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

OpenAI详解进化策略方法:可替代强化学习

选自OpenAI 作者:Andrej Karpathy等 机器之心编译 参与:吴攀、李亚洲 让机器具备生物一样的进化能力一直是计算机科学的一个热门研究领域,Op...

4088
来自专栏奇点大数据

谷歌大脑AutoML新进展:用进化算法发现神经网络架构

作者|谷歌大脑高级工程师 Esteban Real 编译|Debra 从 5 亿年前非常简单的蠕虫大脑到各种现代化结构,大脑经历了漫长的进化过程。如今,人类的大...

3805
来自专栏PPV课数据科学社区

写给大家看的机器学习书(第二篇)

作者:徐晗曦 来源:https://zhuanlan.zhihu.com/p/25439997 在《写给大家看的机器学习书》的第一篇,我们了解了机器学习的基本...

3707
来自专栏PaddlePaddle

【AI核心技术】课程十: AlexNet 深度学习关键突破

UAI与PaddlePaddle联合推出的【AI核心技术掌握】系列课程持续更新中!

1105
来自专栏AI科技评论

干货 | Machine Can See 2018 图像对抗攻击大赛比赛心得

AI 科技评论按:这篇文章来自俄罗斯数据科学家、机器学习爱好者、创业公司的计算机视觉研究员 Alexander Aveysov。他参加了 2018 年度的「Ma...

1512
来自专栏大数据挖掘DT机器学习

【深度】Peacock:大规模主题模型及其在腾讯业务中的应用

如果用户最近搜索了“红酒木瓜汤”,那么应该展示什么样的广告呢?从字面上理解,可能应该返回酒水或者水果类广告。可是你知道吗?“红酒木瓜汤”其实是一个民间丰胸秘方。...

1K5
来自专栏机器之心

业界 | 进化算法 + AutoML,谷歌提出新型神经网络架构搜索方法

选自Google Research Blog 作者:Esteban Real 机器之心编译 参与:刘晓坤、路雪、李亚洲 通过在 AutoML 中结合进化算法执行...

3616
来自专栏大数据

协同过滤的R语言实现及改进

协同过滤算法(CF)是构建推荐系统时最常用的技术之一。它可以基于收集到的其他用户的偏好信息(协同)来自动地预测当前用户的兴趣点。协同过滤算法主要分为两种:基于记...

3966
来自专栏大数据文摘

机器学习的5种“兵法”;

2485
来自专栏专知

【AlphaGo Zero 核心技术-深度强化学习教程笔记08】整合学习与规划

【导读】Google DeepMind在Nature上发表最新论文,介绍了迄今最强最新的版本AlphaGo Zero,不使用人类先验知识,使用纯强化学习,将价值...

1K5

扫码关注云+社区

领取腾讯云代金券