专栏首页ATYUN订阅号Ouster将相机与激光雷达融合,并更新了开源驱动程序

Ouster将相机与激光雷达融合,并更新了开源驱动程序

编译:chux

出品:ATYUN订阅号

当Ouster三年前开始开发OS-1时,相机的深度学习研究超过了激光雷达研究。激光雷达数据具有令人难以置信的好处,丰富的空间信息和照明无法识别也能感应,但它缺乏原始分辨率和相机图像的高效阵列结构,并且3D点云仍然更难以在神经网络或硬件过程中编码加速。

考虑到两种传感模式之间的权衡,Ouster从一开始就将激光雷达和相机的最佳方面集中在一个设备中。今天,Ouster正在发布固件升级并更新到开源驱动程序,以实现这一目标。OS-1激光雷达现在可以实时输出固定分辨率的深度图像,信号图像和环境图像,所有这些都不需要摄像头。数据层完全空间相关,零时间不匹配或快门效应,每像素16位和线性照片响应。

从OS-1输出的同时实时图像层。你从上到下看到的是环境,强度,范围和点云,所有这些都来自Ouster的激光雷达。请注意,环境图像捕获树木和车辆的阴影。

OS-1的光学系统比大多数数码单反相机具有更大的光圈,Ouster开发的光子计数ASIC具有极低的光敏度,因此即使在低光照条件下也能收集环境图像。OS-1捕获近红外信号和环境数据,因此数据非常类似于相同场景的可见光图像,这使数据具有自然的外观,并且为摄像机开发的算法很有可能很好地转换为数据。在未来,Ouster将努力从这些环境图像中去除固定模式噪声。

Ouster还更新了开源驱动程序,将这些数据层输出为固定分辨率的360度全景帧,以便客户立即开始使用新功能,Ouster将提供基于VTK构建的新的跨平台可视化工具,用于查看,录制,在Linux,Mac和Windows上并排播放图像和点云。传感器输出的数据不需要后期处理即可实现此功能,神奇之处在于硬件,驱动程序只是将流数据包组装成图像帧。

新开源可视化工具

视频:http://imgcdn.atyun.com/2018/09/Ouster-OS-1-64-generating-LIDAR-point-cloud-and-2D-ambient-signal-and-range-images-Oblique-View.mp4?_=1

目前多家激光雷达公司推出激光雷达/相机融合解决方案,通过将一个单独的相机与一个激光雷达共同安装,Ouster没有这样做,他们分享了一些OS-1传感器数据强大的例子,现在回到深度学习。

由于传感器在每个像素处输出具有深度,信号和环境数据的固定分辨率图像帧,因此能够将这些图像直接馈送到最初为相机开发的深度学习算法中。Ouster在矢量中编码深度,强度和环境信息,就像网络一样,彩色图像会在输入层对红色,绿色和蓝色通道进行编码。训练过的网络已经非常适用于新的激光雷达数据类型。

作为一个示例,Ouster训练了每像素语义分类器,以识别来自旧金山周围的一系列深度和强度帧的可驾驶道路,车辆,行人和骑自行车的人。Ouster能够在NVIDIA GTX 1060上实时运行生成的网络,并取得了令人鼓舞的成果,特别是考虑到这是尝试并第一个实现的研究。

视频:http://imgcdn.atyun.com/2018/09/Pixelwise-Semantic-Segmentation-on-OS-1-64-Data-1.mp4?_=2

由于每个像素都提供了所有数据,因此能够将2D蒙版无缝转换为3D帧,以进行额外的实时处理,如边界框估计和跟踪。

在其他情况下,Ouster选择将深度,信号和环境图像分开,并将它们独立地传递到同一网络。作为一个例子,团队从DeTone等人的SuperPoint项目中获取了预先训练好的网络,并直接在我们的强度和深度图像上运行它。网络在大量通用RGB图像上进行训练,从未见过深度/激光雷达数据,但强度和深度图像的结果令人惊叹:

视频:http://imgcdn.atyun.com/2018/09/Superpoint-on-OS-1-64-Data.mp4?_=3

仔细检查后,很明显网络正在拾取每个图像中的不同关键点。任何从事激光雷达和视觉测距的人都会掌握这个结果中所体现的冗余的价值。激光雷达测距仪在隧道和高速公路等几何均匀的环境中挣扎,而视觉测距仪则在无纹理和光线不足的环境中挣扎。OS-1的相机/激光雷达融合为这个长期存在的问题提供了多模式解决方案。

这些结果使我们相信,融合的激光雷达和相机数据远远超过其各部分的总和,期望未来激光雷达和相机之间的进一步融合。

Github和样本数据:www.github.com/ouster-LIDAR

本文分享自微信公众号 - ATYUN订阅号(atyun_com)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-09-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 2018年11月机器学习Github开源项目TOP 10

    在此期间,我们将项目与新的或主要版本进行了比较。Mybridge AI根据各种因素对项目进行排名,以衡量专业人员的质量。

    AiTechYun
  • 【项目】2017年最佳的30个机器学习项目

    本文比较了在过去的一年里8800个开源机器学习项目,并从中选取了前30个制成这份清单。它涵盖了2017年1月和12月之间发布的最佳开源机器学习库,数据集和应用程...

    AiTechYun
  • 【科技】神经网络使我们能够以新的方式“读懂人脸”

    面部分析软件正被用来预测性行为和安全风险。 ? 去年9月,斯坦福大学教授Michal Kosinski利用AI试图从他们脸上预测性取向时,引发了一场激烈的争论。...

    AiTechYun
  • 作为开发人员,这四类Code Review方法你都知道吗?

    没有人能保证他产出的代码一定是完美的。下文阐述了4种主流的代码审查(code review)类型,相信作为专业的开发人员,你应该都了解它们!

    葡萄城控件
  • 中国香港中文大学终身教授贾佳亚博士加盟腾讯优图实验室

    2017年5月15日,香港中文大学终身教授贾佳亚博士加盟腾讯优图实验室。作为杰出科学家,贾佳亚教授将负责计算机视觉、图像处理、模式识别、机器学习等人工智能领域的...

    腾讯高校合作
  • 程序员该怎么做,才能成为 coding 王者?

    每当做编程题目时,大多数人都会靠基本的直觉,遵循一些固定的步骤来有效地解题。不管是有意还是无意,在做编程题目的时你会下意识地遵循一些步骤,在阅读完这篇文章后大家...

    老九君
  • 如何阅读Java源码?

    假如你从来都没有学过Java,也没有其它编程语言的基础,上来就啃《Core Java》,那样是很难有收获的,尤其是《深入Java虚拟机》这类书,或许别人觉得好,...

    良月柒
  • 聊一聊SLAP:单一抽象层级原则

    作为程序员,我们总是和方法打交道,不知不觉都会接触Long method(方法体较长的方法),不论是自己写的还是他人写的,而Long method(长方法)往往...

    技术小黑屋
  • (译)kube-proxy 模式对比:iptables 还是 IPVS?

    kube-proxy 是 Kubernetes 中的关键组件。他的角色就是在服务(ClusterIP 和 NodePort)和其后端 Pod 之间进行负载均衡。...

    崔秀龙
  • 【go】剑指offer:求一个数的整数次方

    基于以上的思路,其实是有bug的,假如输入的n为0或者小于0呢?因此我们需要对我们的代码进行改进。若n < 0 ,其实我们求出的是一个倒数,即-n次方的倒数。那...

    陌无崖

扫码关注云+社区

领取腾讯云代金券