【CVPR】四篇好文简读-专题1

一

论文题目：

Manifold Regularized Dynamic Network Pruning

论文摘要：

神经网络修剪是降低深度模型计算复杂度的重要方法，以便它们可以很好地部署在资源有限的设备上。与传统方法相比，最近开发的动态剪枝方法为每个输入实例确定冗余过滤器变量，从而实现更高的加速。大多数现有方法是独立地为每个输入实现子网络，并没有利用不同输入之间的关系。为了最大限度地挖掘给定网络架构中的冗余，本文提出了一种新模式，通过将所有实例的流形信息嵌入到剪枝网络的空间（称为ManiDP）中来动态去除冗余的过滤器。作者首先研究训练集中图像之间的识别复杂度和特征相似度。然后，实例和修剪后的子网络之间的流形关系将在训练过程中对齐。所提出方法的有效性在几个基准上得到验证，与最先进的方法相比，此模型在准确性和计算成本方面表现出更好的性能。减少 ResNet-34 的 55.3% FLOP，而在 ImageNet 上只有 0.57% 的 top-1 精度下降。

论文链接：

https://openaccess.thecvf.com/content/CVPR2021/papers/Tang_Manifold_Regularized_Dynamic_Network_Pruning_CVPR_2021_paper.pdf

代码链接：

https://github.com/huaweinoah/Pruning/tree/master/ManiDP

二

论文题目：

RSG: A Simple but Effective Module for Learning Imbalanced Datasets 论文摘要：

作者在这篇文章中提出了一种少类样本生成器RSG解决数据不平衡问题。RSG做的工作就是对少类样本进行过采样,并不是单纯的对数据集上进行过采样，通过在模型训练的过程中利用多类和少类样本的特征图生成少类样本的特征图，以此来改变并且扩大特征空间少类样本所在支持域的决策边界，在测试的时候将RSG去掉。该模块能够整合到多种卷积网络中，适用于多种损失函数。

论文链接：

https://openaccess.thecvf.com/content/CVPR2021/papers/Wang_RSG_A_Simple_but_Effective_Module_for_Learning_Imbalanced_Datasets_CVPR_2021_paper.pdf 代码链接：

https://github.com/Jianf-Wang/RSG

三

论文题目：

Multi-Perspective LSTM for Joint Visual Representation Learning

论文摘要：

这篇文章提出了一种用于学习视觉序列视角内部和视角之间关系的LSTM架构。该架构采用了一种peephole连接机制，为LSTM增添新的gate和memory，并且采用了一种新的recurrent joint learning strategy。文中论证了采用这种新的LSTM架构可以学到更有效和丰富的视觉表征。实验结果表明在读唇语和人脸识别任务上超出了现有方法，并在多个数据集上获得了SOTA.

论文链接：

https://arxiv.org/abs/2105.02802

Github链接：

https://github.com/arsm/MPLSTM

四

论文题目：

Blur, Noise, and Compression Robust Generative Adversarial Networks 论文摘要：

生成对抗网络（GAN）由于具有再现图像的能力而获得了相当多的关注。尽管图像以模糊、噪声和压缩的形式退化，它们仍可以忠实地重建训练图像，生成类似退化的图像。为了解决这个问题，最近提出的噪声鲁棒 GAN (NR-GAN) 通过展示使用包含图像和噪声生成器的双生成器模型具有直接从噪声图像中学习干净图像生成器的能力，提供了部分解决方案。然而，它的应用仅限于噪声，由于其可加性和可逆特性，噪声相对容易分解，而其在模糊、压缩和所有组合形式的不可逆图像退化中的应用仍然是一个挑战。为了解决这些问题，本文提出BNCR-GAN，它可以直接从退化图像中学习干净的图像生成器，而无需了解退化参数（例如，模糊核类型、噪声量或质量因子值）。受 NR-GAN 的启发，BNCR-GAN 使用由图像、模糊核、噪声和质量因子生成器组成的多生成器模型。然而，与 NR-GAN 相比，为了解决不可逆的特性，作者引入了掩蔽架构，在退化前后使用旁路以数据驱动的方式调整退化强度值。此外，为了抑制由模糊、噪声和压缩的组合引起的不确定性，作者引入了自适应一致性损失，根据退化强度在不可逆退化过程之间施加一致性。本文通过对 CIFAR-10 的大规模比较研究和对 FFHQ 的一般性分析证明了 BNCR-GAN 的有效性。此外，作者证明了 BNCR-GAN 在图像恢复中的适用性。

论文链接：

https://openaccess.thecvf.com/content/CVPR2021/html/Kaneko_Blur_Noise_and_Compression_Robust_Generative_Adversarial_Networks_CVPR_2021_paper.html Github链接：

https://takuhirok.github.io/BNCR-GAN/