视觉感知的“弱光突围”“GGAI视角”

自动驾驶汽车开发人员面临的挑战之一是，需要快速有效地收集和处理摄像头收集的大量数据。但现有可见光摄像头的性能仍然存在一些瓶颈，比如在光线昏暗的情况下无法识别乱穿马路的行人。

根据此前美国汽车协会（AAA）发布的四款2019年中型轿车的行人检测报告（雪佛兰Malibu、本田雅阁、特斯拉Model 3和丰田凯美瑞），结果并不乐观，尤其是在最不具挑战性的情况下。

测试结果显示，当在弱光条件下（日落后一小时）以每小时25英里的速度测试四辆车时，在没有路灯启用的情况下，仅仅依靠汽车的前大灯——没有一辆车能够检测到行人来提醒司机或减慢车速以防止碰撞。

上个月，BlinkAI Technologies Inc.发布了一款名为RoadSight的产品，旨在改善相机在弱光条件下的性能。这家公司来自于麻省理工学院-哈佛大学马提诺斯生物医学成像中心的研究成果。

RoadSight使用机器学习算法，比传统的图像信号处理器(ISP)实现高达500%的高照明，以提高路边目标检测和其他计算机视觉任务的挑战性场景。BlinkAI表示，该技术目前正在与汽车制造商和自动驾驶、传统一级供应商进行试验。

过去几年，视觉感知性能已经有了显著的改善。但在低光照条件下，为算法提供高质量的数据尤其具有挑战性，而RoadSight将一个“大脑”置于传感器之后，以提高相机性能。

在光线不足或其他情况下，人工智能面临两大挑战。首先是在没有足够信号的情况下获取你关心的信息。如果没有信号或者没有像素，怎么预测?

第二个挑战是，降低传感器的噪音变得非常重要，因为你有信号。这两个因素互相影响。例如，电子设备中的热噪声和其他噪声源会破坏信号，在弱光环境下这种现象会更加明显。

嘈杂的信号没有你所关心的信息，然而人类却一直在这样做——我们眼睛的输入是非常嘈杂的。我们的眼睛不像一些智能手机摄像头那样对光敏感，但在黑暗中我们能比在视频模式下的智能手机看得更清楚。

这并不是因为我们接收到了更多的光，而是因为我们的大脑能够更好地处理原始的嘈杂信息。有了特殊的神经网络和算法，RoadSight现在能够完成这项任务。

这项技术来自医学成像领域。BlinkAI的创始人之一在哈佛医学院做博士后研究，在那里领导了使用深度学习来重建医学图像的开发，比如CT和MRI扫描，处理的正是有噪声的原始数据。

那么同样的技术如何在汽车行业实现？如何衡量图像信号处理器的改进?在什么情况下才能得到一个好的信噪比？

BlinkAI做了一个比较的方法，通过增加相机的增益到一个点，并处理噪声放大去噪的图像，使它看起来就像相机在一个更明亮的场景。

而对于迎面而来的车灯造成的炫光，RoadSight如何处理？前摄像头可以适应环境。这是一个高动态范围的问题，BlinkAI系统的一个特性是可以提供HDR功能。

此外，BlinkAI还在开发应对雨雪天气的方法。挑战在于如何在低功耗设备上高效地实现这一点。对于自动驾驶汽车来说，真正的挑战在于其有限的算力下，还能很好地做到这一点。

这意味着摄像头需要在黑暗中看得更清楚，加上空间和成本的限制，强调了算法的重要性。因为增加大量的传感器是昂贵的，而且对汽车来说也是不可行的。还有一些尺寸的限制，比如车载摄像头严格的最大值是1/2英寸，所以限制了进一步的信息捕捉。

而在图像分辨率方面，目前大多数车规级量产的摄像头都是100万到200万像素。当然，汽车制造商希望在未来获得更高的分辨率，比如800万到1200万像素，但我们仍然局限于小传感器和更小的每像素区域。从物理的角度来看，我们很难获得我们需要的信息。

更智能的计算方法利用特定的模式，有效地利用在数据中发现的视觉特征，即使数据并不完全在那里，以获得更高的可信度。

比如，用智能手机，可以拍出星空的漂亮照片。而BlinkAI是从几个光子或像素推断出来的，但与智能手机的主要区别在于，手机摄像头通过将曝光时间延长至2至5秒进行补偿。但自动驾驶汽车必须在1/30或1/60秒内捕获数据并立即处理。

然而，镜头之间的相互作用和传感器的最大分辨率仍然是最大的理论限制。

BlinkAI正在研究像超分辨率这样的技术，并且在处理能力方面，确保计算负担尽可能小，以便为视觉算法提供必要的输入，轻量性是RoadSight的特点之一。

此外，RoadSight是一套软件解决方案，因此在计算平台上不需要考虑硬件的差异，可以很容易地集成到现有的解决方案中。

随着未来几年低成本自动驾驶商业化落地是绕不过去的坎，在具有挑战性的视觉环境中寻求强大的计算机视觉，最大化视觉信息对于感知任务的高精度至关重要。尤其是基于现有传统成熟硬件的软件解决方案，或许是一条可行的出路。