“深度学习+抠图增强”的牛刀小试——高效率的红外行人分类

行人分类研究在计算机视觉领域具有重要的理论研究意义及应用价值。由于远红外图像相对于可见光图像来讲，有着不受天气、光照因素影响的独特优势，因此受到了相关学者的广泛关注。红外行人分类可以为驾驶辅助系统提供关键技术支撑，图1给出了驾驶辅助系统的结构图。从图中可发现，行人分类结果是行车安全评估的重要依据，在实际应用中行人分类错误可能会导致严重的交通事故。

图1 驾驶辅助系统的结构图

远红外图像虽然在行人分类中具有独特的优势，但是其存在分辨率低以及颜色信息缺失的问题，导致可用信息非常有限。由于远红外图像是根据物体的温度差异成像，其中行人区域的像素强度值会随着季节与温度的变化而变化，来自背景的噪声给红外行人分类带来了巨大的挑战。基于深度学习的红外行人分类算法虽然能通过加深网络来提高算法性能，但深度神经网络的计算时间以及空间复杂度也会随之增加，使其在工业应用的成本耗费相当巨大。

综上所述，研究如何以较低的代价实现深度学习分类性能的提升是十分必要的。并且，深度学习在红外行人分类任务上容易受到背景噪声的干扰，从而导致了行人分类准确率的下降。考虑到自然图像抠图技术提供了一种从杂乱背景中精确分离前景的工具，因此华南理工大学软件学院智能算法实验室提出了一种基于自动抠图增强的红外行人分类算法。目前，本研究成果已在算法应用领域的国际权威期刊Applied Soft Computing发表。下面让我们一起回顾该项工作的发展进程与相关成果。

图2 基于自动抠图增强的红外行人分类算法结构框图

图2给出了该算法的结构框图，算法的核心是基于全自动抠图的红外行人预处理，主要通过自动生成红外目标的三分图来对红外图像精确抠图。该预处理过程实现了对前景目标的增强以及对无关背景的抑制，一方面使分类器能“专注于”感兴趣的前景物体的特征；另一方面可实现前景目标的标准化来抑制噪声对行人分类的影响。接下来，我们将通过介绍传统的自然图像抠图技术，来引出该算法预处理过程的提出目的和优势所在。

图3 自然图像抠图效果示意图

图3展示了一个自然图像抠图效果的示例图，在自然图像抠图技术中三分图给出了部分的前景区域（白色部分）与部分的背景区域（黑色部分），指定了用户想要“抠”的区域以及不感兴趣的区域。然而目前流行的抠图算法中三分图的生成依赖人工辅助，需通过一次或多次的用户交互生成，因此严重限制了抠图在图像分类等自动化场景中的应用。

图4 红外行人三分图自动生成算法基本流程示意图

为了克服抠图中三分图生成依赖人工的问题，本文提出了红外行人三分图自动生成算法。该算法假设输入的图像中包含行人，利用行人在红外图像中成像特点估计行人的头部区域以及躯干位置，并依据两者的位置生成三分图。红外行人三分图自动生成算法的基本流程如图4所示。

图5 基于自动抠图的红外行人预处理效果图

图5展示了基于自动抠图的红外行人预处理效果图。从抠图结果不难看出，通过提出的行人自动抠图方法，正样本中行人轮廓得到了增强，杂乱的背景得到了有效抑制，而负样本中的物体轮廓与行人轮廓差异更为显著。我们将处理后的样本作为AlexNet神经网络的输入，从而构建出一个低计算代价的红外行人分类算法。下面我们将通过三个问题从不同角度来对本算法做实验性能分析。

Q1：提出的红外行人分类性能如何？

表1汇总了基于自动抠图增强的红外行人分类算法在LSI、RIFIR 以及KAIST数据集上与5 个流行的红外行人分类算法的分类性能定量比较结果。实验结果表明，尽管采用的只是相对简单的 8 层 AlexNet网络，但本文所提出的红外行人分类算法在三个数据集上几乎所有的性能指标均优于其他分类算法的结果。

表1 基于自动抠图增强的红外行人分类算法在LSI、RIFIR 以及KAIST 数据集上与5 个现有的红外行人分类算法的分类性能定量比较

Q2：预处理对红外行人分类有什么影响？

为了验证基于自动抠图的红外行人预处理在红外行人分类任务上的性能影响，我们进一步分析了该预处理过程在深度学习分类算法上的性能，主要通过与未作预处理的深度学习分类算法做对比分析。前者在训练及测试中，使用经过预处理得到的抠图结果作为输入图像，而后者则使用原始的远红外图像作为输入图像。图6展示了经过预处理的深度神经网络分类算法在三个数据集上的ROC 曲线，以及同经典的深度神经网络分类算法的实验结果对比。从结果可以看出，在LSI 及RIFIR 数据集处理上，经过预处理的深度神经网络分类算法（实线部分）的AUC 指标均显著优于未作预处理的深度学习方法，因此采取基于自动抠图的红外行人预处理算法，可以有效提高深度学习算法在红外行人分类任务上的性能。

(a)在LSI数据集上获得的ROC 曲线对比

(b)在RIFIR数据集上获得的ROC 曲线对比

(c)在KAIST 数据集上获得的ROC 曲线对比

图6 基于自动抠图的红外行人预处理的深度学习分类算法以及流行的深度学习分类算法在三个测试集上ROC 曲线对比

Q3：预处理带来显著性能提升的同时会增加多少计算量？

本文通过实验对经过预处理的深度神经网络分类算法，以及经典的深度神经网络方法的计算时间及内存消耗进行了对比，将LSI数据集中随机选择的1000 张图像作为实验数据展开实验。表2展示了不同方法在数据上的平均耗时及平均最大内存消耗量的结果。与经典的深度学习算法相比，经过预处理后的深度学习算法在处理相同的数据时，最后平均耗时仅增加了0.02 秒。结果表明，基于自动抠图的红外行人预处理算法能够以非常低的计算代价，来获得红外行人分类性能上长足的进展。

表2 基于自动抠图的红外行人预处理的深度学习分类算法以及经典的深度学习分类算法计算耗时及最大内存消耗量对比

本文以红外行人分类任务为例讨论了抠图中三分图的自动生成问题，利用红外行人分类领域的专家知识实现了三分图自动生成的功能，扩展了自然图像抠图技术在红外行人分类领域的应用前景。在自然图像抠图的基础上，通过人体头部及躯干定位的三分图自动生成，实现了基于自动抠图的红外行人预处理，并将其与数据驱动的红外行人分类算法有机结合，提出了基于自动抠图增强的红外行人分类算法。

此外，通过将红外行人预处理得到的透明度遮罩作为训练的输入数据，使现有的先进深度神经网络在红外行人分类任务上的性能得到显著提高。同时，自动生成的三分图给红外行人分类任务提供了一致的行人轮廓特性，也实现了一种低成本提升深度神经网络性能的解决方案。该技术有望应用于强噪声环境下的目标分类、数据不均衡条件下的数据标准化处理、医学图像中自动血管提取等应用场景。