目前最先进的目标检测能用于自动驾驶吗？这群德国人认真地做了个测评！
目前最先进的目标检测能用于自动驾驶吗？这群德国人认真地做了个测评！
目标检测是自动驾驶技术的重要内容，确保上路安全，需要能够精准地检测出路面上所有目标。
这不仅要求汽车感知系统在正常的外界环境工作正常，对于极端恶劣的天气，比如下雪天，也能运行正常。
下图是在自动驾驶系统中，环境变化带来的挑战，雨、雪、雾，还有火灾现场。
随着技术的进步，大量目标检测技术被提出，不断涌出的标着state-of-the-art标签的最先进的算法能够抵御复杂的路况吗？
今天arXiv新出的论文Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming，来自德国图宾根大学和马普所的研究人员，模拟了多个不同环境、成像状况等图像被污损的场景，测评了目前最先进的目标检测算法。
以下是作者信息：
结果不出所料，图像被污损后，所有算法的检测精度都大幅下降。
下图是一个例子：
使用Faster R-CNN算法，上图中左子图把一条龙检测为鸟（现实中不会出现龙。。。作者只是举个例子），更糟糕的是，当图像被“下雪”后，竟然两个目标都检测不出了。
这就有点过分了，因为“下雪”后，人眼可是能轻而易举看出画面中的目标的。
鲁棒目标检测基准测试
作者们提出新的目标检测基准测试Robust Detection Benchmark，在现有数据集基础上，制作了三个大型图像被污损后的目标检测数据集：Pascal-C, Coco-C ， Cityscapes-C。
下图为作者在前人启发下模拟的 15 种图像被污损的情形，这15种情况可以分为 noise, blur, digital, weather 4 组，而每一种情况，都模拟出了5个不同的严重等级（由轻微到严重）。
算法评测
作者评估了多个目标检测算法：
Faster R-CNN [Ren et al., 2015],
Mask R-CNN [He et al.,2017],
Cascade R-CNN [Cai and Vasconcelos, 2018],
Cascade Mask R-CNN [Chen et al., 2019a],
RetinaNet [Lin et al., 2017a],
Hybrid Task Cascade [Chen et al., 2019a]。
其中有2个算法，是上个月才被提出的state-of-the-art，可谓代表目标检测领域的顶尖水平。
文中使用的评价指标不再赘述，我们来看看结果吧。
下图中clean代码原始数据集，corrupted为被污损后的数据集，relative代表精度下降的幅度。
可见，最少下降31.1%，最大下降64.7%！
下图为使用Faster RCNN算法随着污损严重程度变化检测结果实验的折线图，可见精度是一致性的下降。
然后作者使用Faster RCNN在不同骨干网下进行了实验，发现容量更大的骨干网表现出一致性的精度更好。如下图：
神奇的风格迁移
如何提高模型抗图像污损的鲁棒性？
作者实验了使用图像风格化来增广训练数据，使用的风格化方法来自：AdaIN [Huang and Belongie, 2017]（已开源）。
风格化图像示例：
是不是看起来跟现实环境差别很大，不过没关系，我们要的是疗效！
如下表格：
图中combined一行即为将原始数据和风格化后数据放在一起训练的结果。使用Faster RCNN实验。
虽然在污损鲁棒性实验中没能达到原始图像的指标，但风格化后图像加入训练集的检测结果却大大提高了！
这对你有什么启发么？原来图像增广不能完全按照人眼看起来OK为标准，而且风格化还真有效！
开源代码
作者希望该研究能够引起更多人重视，已经开源了代码，欢迎大家提交新的图像污损方法，做更贴近真实场景的测评。
基准测试代码和数据：
https://github.com/bethgelab/robust-detection-benchmark
图像污损代码（感觉很有用，不止用于该任务）：
https://github.com/bethgelab/imagecorruptions
文中用到的图像风格化算法代码：
https://github.com/bethgelab/stylize-datasets
作者基于mmdetection进行算法测试的代码：
https://github.com/bethgelab/mmdetection
论文链接：
https://arxiv.org/pdf/1907.07484v1.pdf
（在公众号对话界面回复“检测鲁棒性”，即可收到论文）
本文为CV君对论文的原创解读，目前只有不到7%的公众号还在努力原创，希望你文末点个“在看”鼓励我。