Lite-HRNet：轻量级HRNet，FLOPs大幅下降

分享一篇新出的 CVPR 2021 轻量级网络论文 Lite-HRNet: A Lightweight High-Resolution Network ，大名鼎鼎的HRNet的升级版。

• 论文：https://arxiv.org/abs/2104.06403
• 代码：https://github.com/HRNet/Lite-HRNet

0 动机

HRNet有很强的表示能力，很适用于对位置敏感的应用，比如语义分割、人体姿态估计和目标检测。将ShuffleNet中的Shuffle Block和HRNet简单融合，能够得到轻量化的HRNet，作者将其命名为Naive Lite-HRNet。

Naive Lite-HRNet中存在大量的卷积操作，作者提出名为Lite-HRNet的网络，在Lite-HRNet中使用conditional channel weighting模块替代卷积，以进一步提高网络的计算效率。

1.Naive Lite-HRNet

ShuffleNetv2中的Shuffle Block结构如下图所示：

上图所示的结构中有2个分支，其中一个分支将输入特征进行卷积、depthwise卷积和卷积，将该分支的输出和输入特征进行concat操作，然后进行shuffle操作，得到最终的输出特征。

Small HRNet的结构如下图所示：

相比于原始的HRNet，Small HRNet减少了网络的深度和宽度。Small HRNet中Stem部分包含2个步长为2的卷积，每个Stage都包含一系列Residual Block和1个多分辨率融合模块。

为了构建计算量更小的Naive Lite-HRNet，作者使用Shuffle Block替换Stem中的第2个卷积和所有的Residual Block，使用separable卷积替换多分辨率融合模块中的传统卷积。

2.Lite-HRNet

2.1 Conditional Channel Weighting

若某个卷积输入和输出feature map的通道数都为，则卷积的时间复杂度为，的depthwise卷积的时间复杂度为。在Shuffle Block中，当时，2个卷积的计算量要多于1个的depthwise卷积，即。

为进一步减少网络计算量，使用Conditional Channel Weighting操作代替Naive Lite-HRNet的Shuffle Block中的卷积，形成新的网络，并将新的网络命名为Lite-HRNet。

对于Lite-HRNet中的第个分支，Conditional Channel Weighting操作可表示为：

上式中的是的矩阵，表示weight map；表示元素乘法操作。Conditional Channel Weighting的时间复杂度为，远低于卷积。

作者提出使用Cross-resolution Weight Computation和Spatial Weight Computation这2种方法计算权重矩阵。使用Conditional Channel Weighting操作替换掉卷积后的Shuffle Block结构如下图所示：

上图中的表示通过Cross-resolution Weight Computation方法计算权重矩阵；表示通过Spatial Weighting Computation方法计算权重矩阵。

下面分别介绍Cross-resolution Weight Computation和Spatial Weighting Computation的实现过程。

2.2 Cross-resolution Weight Computation

在网络的第个Stage中有个分支，每个分支的feature map分辨率不同。共有个weight map分别与这些分支对应，将这个weight map记作。

使用表示个分支的feature map，表示分辨率最高的feature map，表示分辨率最低的feature map，则有：

在上式中，是一个轻量级的函数。

的实现过程为：

• 首先对进行Adaptive Average Pooling（AAP）操作，输出的feature map尺寸为，即：

• 将AAP操作得到的和特征进行Concat操作，得到；
• 对依次进行卷积、ReLU、卷积、sigmoid操作，将输出结果记作，即：

• 对进行上采样操作，使得权重的分辨率与它们所对应分支的feature map分辨率一致，将上采样操作的输出结果记作。

通过上述操作，可以得到个分支的权重矩阵。某个分支中特定位置的权重是由经过AAP操作得到的中同样位置的值决定的，即由多个分辨率的特征得到。

对于第个分支中位置处的特征值，计算公式为：

与所有分支的feature map在位置处对应的特征区域有关，因此包含多种分辨率的特征，通过上式得到的包含多尺度的特征。

需要注意的是，在操作时，先使用AAP操作减小了的分辨率，因此在后面的卷积运算中不会引入很大的计算量。

2.3 Spatial Weight Computation

在Spatial Weight Computation中，权重矩阵的值仅和当前分支的feature map有关，即：

通过Spatial Weight Computation方式计算的权重矩阵，值在所有空域位置处都相等，上式中的实现过程为：

Global Average Pooling（GAP）的作用是聚集所有位置的特征。

得到权重矩阵后，根据下式得到第个分支位置处的输出特征：

根据权重矩阵的计算过程可知，输出特征的每个元素都和该分支所有输入特征有关。

2.4 计算量分析

假设网络中的某个Stage包含2个分支，输入特征为和，的尺寸为，的尺寸为。卷积、的Depthwise卷积、不同类型的Conditional Channel Weighting（CCW）操作的计算量如下表所示：

从上表中可以看出，CCW的计算量远小于卷积。从上文中描述的权重矩阵的计算过程可知，CCW也可以完成多个通道的信息融合，因此可以使用CCW代替卷积以减少网络的计算需求。

2.5 Lite-HRNet总体结构

Lite-HRNet的结构如下图所示：

在stem中，有1个步长为2的卷积和1个Shufflt Block。接下来的3个Stage中，每个Stage均包含2个CCW模块和1个融合模块。上表中“resolution branch”一栏中表示该Stage包含的feature map的分辨率信息。在上表的最后两列中，Lite-HRNet-N中的N表示网络的层数。

3.实验

3.1 人体姿态估计

• COCO数据集

在COCO train2017上使用8个NVIDIA V100 GPU训练网络，每个GPU的batch size为32。将人体检测框进行拓展，使得其长宽比为4：3，并将其resize为或者尺寸的图像。在训练时使用了一些数据增强手段，比如random rotation、random scale、random flipping等。

在COCO val2017上验证，在COCO test-dev2017上测试网络性能。在测试时采取了two-stage的方法，即先通过SimpleBaseline中的检测器检测包含人体的目标框，然后预测关键点。在推理时使用了post-gaussian filter、平均原图像和翻转后图像的heat map方法得到最终的heatmap。在COCO test-dev2017上的性能如下表所示：

• MPII Human Pose数据集

该数据集包含40K个人体实例，选取12K个实例用于测试，其他实例用于训练。使用8个NVIDIA V100 GPU训练网络，每个GPU的batch size为32。将人体检测框resize为。同样使用了random rotation、random scale、random flipping方法进行数据增强。

在测试时使用了post-gaussian filter、平均原图像和翻转后图像的heat map方法得到最终的heatmap。使用PCKH@0.5作为评价指标，性能如下表所示：

从上述2个实验中可以看出，相比于其他轻量级模型，Lite-HRNet有更小的计算量和更高的性能。

3.2 语义分割

使用Cityscapes数据集，在训练时使用了randomly horizontally flip、scale等数据增强方法，训练时输入图片分辨率为。在测试时没有使用任何额外的技巧，在Cityscapes的验证集和测试集上的性能如下表所示：

上表中的“P”表示backbone是否在ImageNet数据集上进行过预训练。从上表中可以看出，在语义分割应用中，相比于其他方法，Lite-HRNet同样能以更小的计算量得到更高的性能。

4.总结

• 将Shuffle Block与Small HRNet融合，设计出Naive Lite-HRNet；
• 提出了Conditional Channel Weighting操作，该操作能够以更小的计算量实现卷积的功能；
• 在Naive Lite-HRNet基础上，使用Conditional Channel Weighting操作代替Shuffle Block中的卷积，得到Lite-HRNet；
• 通过实验证明了在人体姿态估计、语义分割领域中，相比其他轻量级网络，Lite-HRNet有更低的计算量和更高的性能。

仅用于学习交流！

END