Let There Be Light: Improved Traffic Surveillancevia Detail Preserving Night-to-Day Transfer
Let There Be Light: Improved Traffic Surveillancevia Detail Preserving Night-to-Day Transfer
摘要
近年来，在深度卷积神经网络（CNNs）的帮助下，图像和视频监控在智能交通系统（ITS）方面取得了长足的进步。作为最先进的感知方法之一，检测视频监控每帧中感兴趣的目标是ITS广泛期望的。目前，在具有良好照明条件的日间场景等标准场景中，物体检测显示出显著的效率和可靠性。然而，在夜间等不利条件下，物体检测的准确性会显著下降。该问题的主要原因之一是缺乏足够的夜间场景注释检测数据集。在本文中，我们提出了一个框架，通过使用图像翻译方法来缓解在不利条件下进行目标检测时精度下降的情况。 为了缓解生成对抗性网络（GANs）造成的细节破坏，我们建议利用基于核预测网络（KPN）的方法来重新定义夜间到日间的图像翻译。KPN网络与目标检测任务一起训练，以使训练的日间模型直接适应夜间车辆检测。车辆检测实验验证了该方法的准确性和有效性。
1、介绍
随着计算机视觉和深度卷积神经网络（CNNs）的快速发展，图像和视频中的视觉数据理解引起了人们的广泛关注。例如，在智能交通系统（ITS）中，检测交通监控视频每帧中的车辆对于提取实时交通参数以进行有效的交通控制和获得车辆轨迹以进行校准的交通模型模拟等非常重要。
现有的研究大多集中在通过监督学习完成白天的感知任务上，但对夜间场景等不利条件的概括很差。夜间场景的逆境对夜间感知任务的成功提出了两个挑战：1）与大规模白天数据相比，具有大量标记的夜间数据通常很少，因为夜间图像的准确注释相对难以获得。2） 夜间图像的视觉危害，如曝光不足和噪声，导致提取的特征被破坏。
解决这一问题的一种传统方法是在有限的夜间数据上对已经训练好的日间感知模型进行微调，希望它能在夜间场景中表现良好，但它需要额外的时间和额外的标记夜间数据来进行模型微调。另一种传统方式可能以不成对的方式使用基于生成对抗性网络（GAN）的图像到图像翻译方法，如CycleGAN和UNIT，将白天的图像转换为伪造的夜间图像。由于动态交通和环境的变化，在现实世界的应用中很难获得成对的日间和夜间图像。这种图像翻译将此问题视为在不标记夜间数据的情况下对合成夜间图像进行模型微调的领域自适应。然而，这些方法也需要额外的时间进行模型微调。此外，基于GAN的图像翻译存在模型崩溃的问题，并且不能很好地保存内容细节。 由于下采样和上采样操作，通用深度生成器中的瓶颈层损害了卷积核的学习能力，导致可能丢失一些结构细节。此外，由于缺乏逐像素的对应性，不同域的未配对训练数据限制了生成器的细节保持能力。
在本文中，我们希望将白天感知模型重新用于夜间场景。我们的基本想法是最大限度地使用预先训练的白天感知模型，类似于工作，它可以很容易地扩展到夜间任务。与传统方法相反，我们将夜间图像转移回日间风格，并保留细节，以重用训练后的日间感知模型，如图1所示。这种反向方式的优势是显而易见的，也是有希望的：1）对于已经训练好的白天感知模型，不需要额外的训练，也不需要手动标记夜间数据；2） 图像传输可以减少白天和夜间数据之间的域分布差异；3） 与基于GAN的图像传输相比，细节保留图像传输可以更好地保持结构细节。
具体而言，我们为这项任务提出了一种保留细节的非配对域转移方法，该方法主要包括两个部分：1）基于风格转移的StyleMix，2）基于内核预测网络（KPN）的夜间到日间图像转移。在没有成对的日间-夜间图像对的情况下，我们建议利用基于风格翻译的StyleMix方法，受AugMix的启发，获取日间和夜间图像对，作为后续夜间到日间图像传输的训练数据。我们可以有效地缓解GAN造成的细节破坏：1）合成的夜间图像和相应的日间图像翻译可以为夜间到日间的翻译提供像素对应。2） 基于核预测网络的方法可以重新定义夜间到白天的图像转换，因为每像素核融合可以有效地利用每个像素的相邻区域，并可以学习更多表示结构信息的空间上下文。 该方法只需一个日间模型即可进行日间和夜间车辆检测，在实际应用中更方便。
在本文中，我们选择交通监控视频中的车辆检测问题作为所提出方法的案例研究。KPN网络与目标检测任务一起训练，以使训练的日间模型直接适应夜间域。在日间和夜间车辆视频数据集上的实验结果验证了所提出方法的准确性和有效性。本文的贡献总结如下：
•我们提出了一种用于夜间车辆检测的细节保留不成对域转移方法，以使训练的日间模型直接适用于夜间车辆检测。
•为了解决缺乏成对的日间-夜间图像对的问题，我们建议利用基于风格翻译的StyleMix方法来获得日间图像和夜间图像对作为训练数据。KPN网络利用这些训练数据来执行夜间到白天的图像传输。
•在日间和夜间视频监控场景中的车辆检测数据集上的综合实验结果表明，该方法在夜间场景中实现了更好的车辆检测性能。
2、相关工作
A、夜晚的目标检测
近年来，最先进的物体检测性能正在迅速提高。一阶段（SSD、YOLO、RetinaNet）和两阶段（Faster R-CNN、Mask R-CNN）检测框架在实际应用中取得了良好的性能。它们通常需要大量手动标记的数据用于监督学习。尽管如此，它们中的大多数在白天、有利的照明条件下运行良好，而在具有挑战性照明条件的夜间场景中表现不佳。此外，夜间图像的手动注释既困难又耗时，因为在不利的夜间场景中，即使是人类也无法清楚地辨别物体。夜间探测任务近年来引起了人们的广泛关注。领域特定工作通过考虑相机的类型来探索夜间的人体检测。 其他工作涉及驾驶场景中的车辆检测。域不变表示或融合作品被设计为对光照变化具有鲁棒性。图像翻译工作旨在改进夜间基于检索的定位。在这项工作中，我们专注于交通监控场景中的夜间车辆检测。我们的目标是使白天的检测模型适应夜间的检测，以重用白天的领域知识。
B、从合成数据中学习
一般来说，当训练集和测试集之间发生领域转换时，细胞神经网络的性能会差得多，这会损害细胞神经网络（CNNs）的泛化能力。数据增强技术，如随机裁剪和仿射变换，是提高网络在陌生领域稳定性的一种方法。有效利用合成数据是实现相同目标的另一种选择。它已被用于许多计算机视觉任务，如人群计数、语义分割、人物识别等。减少数据集分布偏差的一种常见方法是使合成数据更逼真，同时最大限度地减少域偏移。一些领域自适应方法可以用于学习领域不变特征，以对齐合成数据和真实数据的领域，从而提高模型的泛化能力。 在本文中，我们利用基于风格转移方法的合成夜间和真实日间图像对来训练细节保持的昼夜网络。然后，我们调整我们训练的翻译网络，将任何夜间图像转换为白天版本，以便重用训练的白天检测模型。
C、风格迁移
许多计算机视觉任务需要将输入图像从一个域翻译到另一个域，这被视为图像翻译问题。基于生成对抗性网络（GANs）的方法有望用于图像风格化，其目的是从概率分布中采样以生成图像。GANs包括两个模型：生成模型和判别模型。前者捕捉图像生成的关键数据分布，而后者旨在区分真实样本和生成样本。CycleGAN[9]将基于GAN的图像翻译方法扩展到无监督框架，其中不需要配对数据。它执行从源域到目标域和从目标域回到源域的完整翻译循环，然后可以正则化高循环一致性。随后的工作鼓励通过变分自动编码器（UNIT）共享潜在特征空间。ComboGAN和SMIT扩展到多域翻译。 GcGAN提出翻译网络应保持几何一致性。
尽管基于GAN的方法进行的未配对图像翻译在风格转移中很受欢迎，但由于常见的现有下采样和上采样网络操作，生成的图像可能缺乏细节。在本文中，我们建议训练一个细节持久网络，以实现夜间目标检测的不成对域转移。
3、方法
在本节中，我们提出了保留细节的不成对域转移，用于在夜间执行高精度目标检测，而无需在白天数据集上重新训练检测器。我们在第III-A节中介绍了整个框架，并揭示了挑战。然后，我们的两个主要贡献，即第III-B节中的场景感知像素过滤和第III-C节中的样式混合，有助于解决这些挑战并实现更好的检测精度。
A、夜间目标检测的细节保留非配对域迁移
我们建议通过将输入的夜间图像转移到相应的白天版本来执行夜间目标检测，以进行进一步的目标检测。这项任务可以简单地表述为
其中
表示可以将夜间图像I映射到相应的白天版本的传递函数。一个简单的方法是将
设置为一个流行的生成器，该生成器可以在对抗性损失的情况下进行训练。然而，我们认为基于GAN的转移很难恢复夜间图像中的细节，这对于准确的目标检测非常重要。如图2所示，基于GAN的方法可能会破坏详细的汽车结构，导致漏检。事实上，用于物体检测的昼夜转换需要保留物体相关的细节，例如汽车的结构，同时应该感知夜间的不同场景模式，并将其正确映射到白天的版本，这对基于深度学习的解决方案提出了两个挑战：❶ 由于输入图像通过下采样和上采样传输的常见瓶颈层，流行的基于深度生成器的方法很容易损害目标细节。 ❷ 很难获得配对数据集，这对于训练具有像素对应关系的细节保持网络非常重要。
为了解决第一个问题，我们在第III-B节中提出了场景感知像素过滤，用于夜间到白天的转换。与所有直接使用DNN作为生成器的现有工作不同，我们的方法通过单层滤波器来映射输入图像，单层滤波器的内核由经过线性训练的DNN预测，称为内核预测网络。请注意，单层过滤（没有任何下采样和上采样操作）避免了丢失重要对象相关细节的风险。同时，DNN有助于理解场景并预测空间变异核以进行有效变换。具体而言，内核预测网络为每个像素预测一个内核，以捕获局部空间上下文信息，从而保留更多细节，例如结构信息。最近的工作[39]–[42]已经证明，每像素内核预测网络可以实现具有更好细节的图像恢复。 为了解决第二个挑战，我们提出了一种基于风格转移的数据增强方法，即第III-C节中的StyleMix，以生成用于训练核预测网络的夜间-日间图像对。
我们在图3中展示了整个框架。直观地说，我们的方法是一个预处理模块，将输入的夜间图像转换为白天版本，用于进一步的目标检测，这得到了一种新颖简单的数据增强方法，即StyleMix的支持。
B、尺度敏感的逐像素滤波
我们提出了场景感知的像素过滤，用于夜间到白天的转换。具体而言，我们将等式（1）重新表述为：
其中表示逐像素滤波器，
是逐像素滤波器
。通道维度
中的每个向量都是每个像素的核，并且可以通过逐元素乘法应用于输入夜间图像i中每个像素的
邻域。
表示核预测网络，用于感知输入图像并为每个像素预测合适的核。
然后，我们获取输入图像的白天版本的
。由于它是输入夜间图像的逐像素过滤，因此可以在很大程度上保留图像细节而不会损坏。为了充分利用每个图像像素的丰富邻域信息，需要大的内核大小
，然而，计算和内存成本也会增加。在我们的实现中，内核大小
被设置为5。
内核预测网络的框架如图4所示。在这项工作中，KPN的训练输入数据是来自第III-C节的合成夜间图像。具体而言，两幅具有不同风格条件的合成混合夜间图像MN1和MN2分别被输入KPN。KPN将分别为每个图像输出每个像素的图像特定滤波器。然后，将特定滤波器与相应的输入图像逐元素相乘，将生成日间版本图像
基本损失函数
是标签日间图像
和翻译的日间图像
间的逐像素
距离。它被定义为：
我们还通过测量它们的
距离，定义了
和
之间的一致性损失
。方程式为：
C、降低夜间数据的差距
利用基于风格转移的方法生成用于KPN训练的夜间-日间图像对。为了弥补合成夜间数据和目标夜间数据的转变，我们提出了SytleMix策略来体现夜间场景的多样性。
具体而言，风格传递网络可以保留输入内容图像的结构，并根据输入风格参考对内容图像进行风格化，以实现图像翻译。如图3所示，我们采用了预训练的风格传递网络，即白化和着色变换（WCT2），来完成白天到晚上的图像转换。对于WCT2的输入，白天的图像是内容图像，五个真实的夜间图像作为风格参考。根据目标夜间场景的照明条件，选择以下StyleMix的五个样式参考图像。在白天到夜间的图像翻译过程中，StyleMix被用于减少翻译风格和目标夜间风格的分布偏移。它的工作方式如图5所示。具体地说，对于每个日间输入图像，从最终风格参考中随机抽取三个风格增强链，每个风格增强链由一到两个随机选择的风格转移操作组成。
我们从狄利克雷（α，…，α）分布中随机采样，以构建像素凸系数的三维向量。图6显示了StyleMix的像素融合合成夜间图像的一个示例。StyleMix的augmix输出是不同风格的翻译内容图像的逐像素融合结果。结果表明，StyleMix可以有效地生成各种合成的夜间图像，这些图像在视觉上接近真实的夜间场景。
对于管道的检测任务，我们构造了检测损失
和检测一致性损失
。我们采用平滑
损失来计算
。管道的总损失
是
的加权和，定义为：
在我们的实验中
设置为10。
4、实验
A、数据集
在本文中，利用公共的D&N-Car基准来验证所提出方法的有效性。这是中国西安市记录的城市高速公路现场的真实交通监控数据集。该数据集包括1200幅白天图像和1000幅夜间图像，它们以不同时期和日期的边界框格式显示地面实况，每幅图像的分辨率均为1280×720。该数据集中总共有57059个车辆实例。训练集由1000张带有手动地面实况标签的日间交通图像组成，表示为日间训练。测试集包括1200张图像，其中200张图像在白天，1000张图像在夜间。在200张日间测试图像中，100张图像处于正常交通状态，表示为正常日，其他100张图像位于拥堵交通状态，称为拥堵日。 测试集的左侧1000张图像构成了夜间交通图像的4个子集（表示为Night1、Night2、Night3、Night4）。基准的细节如表I所示。在实验中，我们将标记的日间交通图像（日间训练）表示为源域S，将未标记的夜间交通图像表示为目标域T。
B、实验设置
我们在两种不同的场景下进行实验：1）。通过在日间训练中训练的Faster R-CNN[20]模型在日间检测车辆；2） 。在提出的昼夜图像转换后，通过训练的Faster R-CNN模型在日间训练中在夜间检测车辆。详细的实验设置如下：1）场景1：我们以有监督的方式在数据集Day训练上直接训练一个更快的R-CNN模型，并分别在Day normal和Day拥塞测试图像；2） 场景2：对于旨在获取白天和夜间图像对的基于样式转移的StyleMix图像翻译，我们使用Day训练集中的1000个图像和5个样式参考图像进行夜间图像合成和augmix样式。对于基于KPN的昼夜训练，每个epoch中有2000个augmix夜间图像用于训练。接下来，将预测的白天图像输入到检测任务中，以进一步确定用于对象检测的转换的白天图像。 为了推断，训练的KPN对真实的夜间图像（Night1、Night2、Night3和Night4）进行图像翻译，然后对翻译的夜间图像进行训练的日间检测模型测试，以进行性能评估。
我们设置了以训练的日间模型Faster R-CNN为基线直接测试夜间图像的方法。我们还将所提出的方法与非配对图像翻译方法UNIT、CycleGAN和GcGAN在昼夜和昼夜方向上与Faster R-CNN相结合进行了比较。为了训练图像翻译模型，白天的训练数据集是白天的训练集，夜间的训练集是Night1、Night2、Night3和Night4的组合。
我们在PyTorch建立了翻译和检测流程。对于目标检测，我们使用ResNet50作为主干。对于检测训练，我们利用随机梯度下降（SGD）来优化我们的网络，并将初始学习率设置为0.0001，并在每10个时期后衰减。实验是在NVIDIA GTX 1080Ti GPU上进行的。对于夜间到日间的图像翻译训练，我们通过在两个特斯拉V100 GPU上设置200个时期的学习率为0.002来使用SGD训练KPN。为了进行综合性能评估，广泛使用的物体检测指标mAP（平均精度）用于评估车辆检测结果。对于所有实验，性能评估使用0.5的统一阈值作为预测边界框和地面实况之间的并集交集（IoU）。
C、在基准上的结果
我们首先报告了场景1中一级检测器SSD和两级检测器Faster R-CNN的检测结果，如表II所示。我们可以看到，当交通堵塞时，两种mAP都从约99%下降到88%。拥挤的情况增加了物体检测的难度，导致与未拥挤的情况相比检测性能较低。由于SSD和Faster R-CNN在mAP方面没有明显差异，我们选择Faster R-CNN作为我们的基线检测器进行以下实验。
D、和白天到夜晚翻译方法的比较
我们将夜间车辆的检测结果与其他图像转换方法在昼夜方向上进行了比较。根据场景2，所提出的方法通过从第IV-C节获得的日间模型对从KPN获得的转换后的日间图像执行车辆检测。然而，对于在昼夜方向上执行夜间车辆检测的比较方法，除了白天模型之外，它们还需要额外训练夜间车辆检测用的夜间模型。例如，以CycleGAN作为昼夜图像翻译方法，我们以不成对的方式将白天的图像翻译为伪造/合成的夜间图像，然后在具有与白天图像相同注释的此类伪造/合成夜间图像上训练Faster R-CNNn检测器。然后，我们在夜间图像上测试训练后的模型，用于车辆检测。对比结果见表三。 我们比较了夜间交通图像的每个子集的mAP形式的检测结果和所有图像的平均mAP。昼夜图像翻译方法UNIT、CycleGAN和GcGAN的性能优于或可与基线Faster R-CNN相比，后者直接用Sec.IV-C的日间模型测试夜间图像。以数据集Night4为例，该方法基于昼夜图像翻译，无需再训练一个模型，获得了最高的92.94%的mAP，比Faster R-CNNn+GcGANd2n高约5.4%，比Faster-R-CNNn+CycleGANd2n高3.3%，比FasterR-CNNn+UNITd2n高4.8%，比基线Faster R-CNN高5.9%。尽管Faster R-CNNn+GcGANd2n在Night1子集上表现稍好，但所提出的方法在所有夜间交通图像中获得了87.80%的最佳平均mAP。 我们还提供了一种通过背景相减进行车辆检测的传统方法Mean BGS[44]，以及SSD[17]的日间模型直接对夜间图像进行车辆检测。在夜间车辆检测方面，两者都比Faster R-CNN差。如图7所示，相应的检测结果可以清楚地看出，所提出的方法对各种光照条件都是鲁棒的。与所提出的方法相比，基于UNIT、CycleGAN和GcGAN的方法无法很好地检测光线较差条件下的车辆，并错过了许多黑色车辆，并且由于白天和夜间场景的域偏移，没有任何图像翻译的Faster R-CNN不能很好地执行。
D、和夜晚到白天翻译方法的比较
我们还将我们的方法与这些图像翻译方法进行了昼夜方向的比较。比较翻译方法，UNITn2d、CycleGANn2d和GcGANn2d，首先将夜间图像翻译为白天风格的图像，然后将这些白天风格的图片输入到从第IV-C节获得的白天模型中，用于车辆检测。结果如表IV所示。这表明，在夜间车辆检测中，通过昼夜转换，所提出的方法可以获得比UNIT、CycleGAN和GcGAN更好的平均mAP性能，证明了所提出方法的先进性。这是因为所提出的方法在图像翻译训练期间考虑了每个像素的相邻信息和目标检测任务的每像素核融合，保留了对检测任务至关重要的更多特征，例如结构细节。
上述图像转换方法从夜间到白天的可视化结果如图8所示。结果表明，所提出的方法可以详细地恢复白天的场景。UNIT方法存在模型塌陷，局部纹理和细节较差。具体而言，翻译后的图像是模糊的，尤其是图像中车辆的形状和边缘。这与表IV中mAP形式的较低检测性能有关。CycleGAN可以将车辆的纹理从夜间转换为白天，但它对强烈的道路反光镜反射不稳定。它呈现了源夜间图像中不存在的假车辆，导致了更多的假阳性检测样本。在CycleGAN翻译的图像中，更多的黑色车辆消失了。 GcGAN对这种强烈的道路反光镜反射也很敏感，导致翻译图像中出现更多的假车辆。尽管从所提出的方法翻译的树存在腐败，但我们工作的目标是在夜间准确检测车辆，我们不太关心夜间翻译过程中的树腐败。很明显，根据所提出的方法，平移的汽车更自然，结构清晰，从而在表IV中获得更好的检测性能。
这是因为从夜间到白天的图像翻译训练充分利用了具有逐像素对应关系的成对合成数据和相邻信息的逐像素核融合，从而提供了丰富的空间上下文信息。
F、消融研究
在本节中，我们评估了所提出方法中每一步的贡献：1）在没有StyleMix的情况下训练KPN，相反，给定每个日间图像，我们从五个风格参考图像中随机选择两个风格图像，分别基于图像翻译生成两个合成夜间图像。将两幅合成的夜间图像输入KPN，结合检测任务进行训练。我们将此方法视为本节中的基线。2） 在步骤1的基础上，我们在深度和宽度上增加了样式引用，表示为Baseline+StyleMix。StyleMix有五张风格参考图像，其中两张来自D&N-Car数据集的夜间交通图像。3） 在测试阶段，我们通过零参考网络[45]对目标夜间图像进行预处理，以提高局部对比度，然后通过KPN将图像转换为白天场景，然后通过白天检测模型执行检测任务，表示为Baseline+StyleMix+Zero。
随着mAP性能的提高，我们可以清楚地看到每一步的积极影响。以数据集Night1为例，基线方法可以实现62.51%的mAP。当增强和混合风格参考图像以体现合成夜间场景的多样性时，mAP增加了约13%。当使用零参考网络和对比度对目标夜间图像进行预处理时，mAP继续分别增加到79.50%和80.20%。
我们进行消融实验来验证StyleMix风格参考设置的有效性。我们构建了一个用于风格参考选择的夜间风格图像库，由21幅图像组成，其中7幅来自D&N-Car的夜间数据集，即本文中使用的夜间交通图像，7幅来自BDD数据集[46]的夜间场景，另7幅来自WCT2公布的项目网站。我们从这个夜间风格的图像库中随机选择5幅图像作为整个图像翻译模型的风格参考。我们为StyleMix进行了三个不同风格参考设置的实验。D&N-Car数据集的夜间图像中有1、2和5个图像作为不同的实验设置：样式Mix1、样式Mix2和样式Mix5。检测结果如表VI所示。事实证明，随着D&N-Car数据集中涉及的夜间风格图像越多，检测性能就越高。 这是合理的，因为我们期望StyleMix模型将合成夜间图像渲染为更接近夜间图像的相应夜间样式。
5、结论
在本文中，我们提出了一种细节保留方法来实现夜间到白天的图像转换，从而将白天训练的检测模型应用于夜间检测。我们首先利用风格翻译方法来获取白天和晚上的配对图像，这在现实世界的应用中很难获得。我们建议对参考风格进行风格混合，以体现合成夜间场景的多样性。以下夜间到白天的翻译是基于内核预测网络实现的，以避免纹理破坏，并通过检测任务进行训练，使翻译后的白天图像不仅在白天场景中具有视觉逼真度，而且使检测任务能够重用白天领域的知识。所提出的方法可以用一个模型同时执行日间和夜间车辆检测。实验结果表明，该方法取得了有效、准确的夜间检测结果。
腾讯云开发者
