HPUN | 特征下采样真的不适合超分吗？

尽管通过特征下采样获取多尺度特征融合是一种有效改善视觉识别性能的方案，但是特征下采样对于图像超分一种是反直觉的行为，这是因为超分需要将低分辨率输入映射到高分辨率输出。因此，鲜少在图像超分中看到下采样操作，就算是有，下采样操作也是打“辅助”。前段时间，有一篇paper对此进行了探索并设计了一种新的架构HPUN，用上了下采样，性能还有所提升！

paper: https://arxiv.org/abs/2203.08921

本文对此进行了探索，提出了一种包含pixel-unshuffle下采样与Self-Residual Depthwise Separable Convolution的轻量型超分网络HPUN。在图像超分公开数据集上的结果表明：所提方案凭借更少的参数量与计算量超越了其他SOTA超分方案，可参考下图。

1Method

本文提出了一种轻量型架构HPUB(Hybrid Pixel-Unshuffled Block)用于替换常规残差模块。所提方案包含三部分：标准卷积、pixel-unshuffled 下采样以及所提PUB模块。具体来说，PUB包含pixel-unshuffled下采样与Self-Residual DSC(Depthwise Separable Convolution, DSC)两个模块。

Self-Residual DSC

DSC包含depthwise与pointwise两个卷积(见Fig3b)，它是一种主流的用于降低计算量的操作。

注：C表示标准卷积，P表示Pointwise卷积，D表示Depthwise卷积。

在图像超分领域，DSC会产生严重的副作用。为克服DSC带来的该缺陷，我们找到一种均衡设计方案(见Fig3c)：

对比上述两式可以发现：相比DSC，SRDSC的输出与输入具有更高相似性。

Pixel-Unshuffled Downsampling

在正式介绍所提核心模块之前，我们先来看一下Piexl-Unshuffle模块(PixelShuffle的逆变换)，见上图。从中可以看到：Pixel-Unshuffle操作可以避免信息损失同时降低特征分辨率。

在Pixel-Unshuffle操作之后，我们需要一种高效且有效的架构对低分辨率特征进行处理。这是因为我们需要在卷积之前用一种强力非线性操作提取更好的局部特征，因此我们选择最大池化：

在非线性操作之后，我们采用组卷积降低输入的通道数，该过程可以描述如下：

注：G表示g=4的组卷积。

为增强特征，我们采用上采样算子将低频特征映射到高维并将其与原始输入相加。在上述操作之后，我们采用pointwise卷积进行通道间通讯，该过程可以描述如下：

注：L表示原始输入，U表示上采样算子(双线性上采样)。

Hybrid Pixel-Unshuffled Network

前面完成了关于SRDSC与Pixel-Unshuffled下采样的介绍，接下来我们用其构建PUB，见上图b，可以描述如下：

为进一步增强性能，我们将标准卷积集成到PUB中得到HPUB，见Fig4c。标准卷积的核尺寸设为3以平衡效率和性能。

最后，我们采用前面所提到的PUB与HPUB构架本文的超分网络HPUN，见上图。它具有与EDSR类似的架构，由于每个HPUB包含两个残差模块，故HPUN的body部分的HPUB的数量为8以对齐EDSR的配置。为进一步降低参数量，我们采用了IMDN的tail模块。我们通过控制HPUB的数量控制模型大小，HPUN-M包含8个HPUB模块，HPUN-L包含12个HPUB模块，HPUN-S的模块数为8，但将一个HPUB替换为两个PUB替换。

2Experiments

Ablation Study

上表对SRDSC的有效性进行了实验对比，从中可以看到：

• 相比标准卷积与Pointwise卷积组合，标准卷积与DSC的组合具有更差的PSNR指标。也就是说，DSC会影响图像重建性能，然而轻量型网络的设计避不开DSC。
• Self-Residual DSC可以克服DSC的缺陷，同时不会引入额外的计算量与参数量。

上表对PUD的有效性进行了实验分析，可以看到：Max-pool与双线性上采样的组合取得了最佳性能。

上图a对比了PUD与其他下采样方案的性能，可以看到：PUD具有远超其他方案的性；上图b对PUB中的核配置实验进行了对比，可以看到：1-3-3-5的组合取得了最佳性能（这里看的有些莫名其妙，PUB中哪里来的四个depthwise卷积？？？）。

Comparison Results

上表给出了所提方案与其他方案的性能对比，从中可以看到：

• 在所有方案中，HPUN-L取得了新的SOTA结果。在x3与x4任务+所有数据集上，HPUN-L均取得了新的SOTA性能；在x2任务上，HPUN-L在Set14、B100以及Manga109数据集上取得了最佳性能。尽管HPUN-L在Set5+X2任务上性能低于LatticeNet，但计算量与参数量更低。
• HPUN-L+结果表明：self-ensemble技术可以进一步提升HPUN的性能。
• HPUN-M在Set14与B100+每个尺度任务上均取得了top3性能。此外，相比IMDN、LatticeNet、SMSR，它的参数量与计算量更少。
• 总而言之，无需复杂操作，所提方案可利用低分辨率特征大幅改善超分性能。

上表从推理耗时方面给出了所提方案的性能，可以看到：HPUN-S并未像理论计算结果一样快于HPUN-M，而这可能与标准卷积的深度优化有关。我们认为：HPUN-S在边缘设备上可以更快。