CVPR2024 | Dropout之后又一改善图像超分泛化性能的正则方案SimpleAlign，已开源！

https://arxiv.org/html/2402.18929v1 https://github.com/Dreamzz5/Simple-Align

论文概述

深度学习为图像超分辨率（SISR）带来了性能上的巨大飞跃。大多数现有工作都假设一个简单且固定的退化模型（例如双三次下采样），但 Blind SR 的研究旨在提高未知退化情况下的模型泛化能力。最近，Kong等人率先研究了一种更适合使用 Dropout 的 Blind SR 训练策略RDSR。尽管这种方法确实通过减轻过度拟合带来了实质性的泛化改进，但我们认为 Dropout 同时引入了不良的副作用，损害了模型忠实重建精细细节的能力。

我们在论文中展示了理论和实验分析，此外，我们提出了另一种简单而有效的训练策略，通过简单地调整模型的一阶和二阶特征统计量来增强模型的泛化能力。实验结果表明，我们的方法可以作为与模型无关的正则化，并且在七个基准数据集（包括合成场景和真实场景）上优于 Dropout。

发出点

从图2中，我们观察到，正如预期，使用Dropout训练的模型在高频恢复方面表现较差。值得注意的是，大约 90% 的图像包含低频信号，而人类的感知对图像的高频细节自然敏感。因此，失去高频恢复能力通常会导致感知质量不理想。

此外，Dropout 还倾向于通过像低通滤波器一样平滑网络的激活来减少特征多样性。如上图3所示，Dropout 训练的模型覆盖了较小的频带范围，限制了其恢复能力在此范围之外。

本文方案

我们从图像风格迁移中汲取灵感，并将不同退化的图像视为不同风格。然后，我们遵循风格迁移的传统，利用均值和协方差作为退化（风格）敏感指标。 因此，通过在具有相同内容但不同退化的图像之间对齐这些统计数据，我们的目标是引导模型在特征编码过程中自动忽略特定于退化的信息，从而提高其对退化不变特征的学习能力。

伴随退化建模的进步，多重退化的训练模型已成为最近 Blind SR 工作的标准。我们的方法与它们无缝集成，只需要求退化模型为每个（或某些）图像随机生成一个退化图像以形成

对进行正则化即可。

本文实验