论文精读|6th | CNN网络的解耦设计 | CVPR 2018 | 一种新的高性能学习架构 | 附全文下载

解耦网络

作者：Weiyang Liu、Zhen Liu、Zhiding Yu等

全文下载，公众号回复：20180512

作者简介

个人主页：http://wyliu.com/

履历：Google研究员、乔治亚理工大学研究生

主要方向：从事机器学习、计算机视觉方面的工作。

特别说明

这是一篇CVPR 2018的Spotlight论文，提出了一种可以大幅提高性能、收敛能力、鲁棒性的解耦算子，构成解耦网络。该方法受到了CNN类网络在特征提取方式的启发，并将其进一步发展成为解耦学习框架。

摘要

基于内积的卷积已成为CNN类网络的核心组件，是视觉表示学习的关键。收到CNN学习方式的启发，其特征很自然地解耦了类内变化相应的特征范数，以及语义相关的角度。我们提出了一种通用的解耦学习框架，将类内变化和语义变化分别建模。特别指出，我们首先重参数化了内积，变为一种解耦形式，然后将其推广为解耦卷积算子，作为我们解耦网络的模块。我们展示了解耦卷积算子若干个有效的例子。每个解耦算子都可以很好的激发，而且有一种直观的几何解释。在这些解耦算子的基础上，我们进一步的提出了从数据中直接学习算子的方式。大量实验表明，这样的解耦重参数化获得了显著的性能提升，更易于收敛，而且鲁棒性更强。

文章结构

精华内容

1.核心思想：探究CNN优秀区分表示和泛化能力的原因

CNN优秀的性能取决于其内积计算模块

，该模块在一个方法下同时计算语义变化和类内变化。从图中可以观察到，内积计算模块可以从范数和角度两个方面来考虑，角度实现了分类，而范数越大则精度越高。因此，我们提出对内积模块进行重参数化，例如我们希望这种解耦的方式可以更好的对类内变化和语义变化进行建模。因此我们将内积模块

解耦为两个重要函数

和

其中h（x）建模类内变化，而g（x）建模语义变化。

2.DCNets的四个优势

1）DCNets让我们可以直接学习从数据中学习这些函数，而不是手工调整

2）DCNets可以更快收敛，获得相当于甚至优于传统CNNs网络的性能

3）案例表明，DCNets应对对抗攻击时有更好的鲁棒性

4）解耦算子具有更好的灵活性和结构不敏感性，它可以很容易适用于任何网络结构，例如VGG、GoogLeNet和ResNet等。

3.两种解耦卷积算子：有界的和无界的

经验表明，有界算子更快速收敛，有更好的鲁棒性。无界算子的表示能力则更强力。同时算子也可以是平滑和非平滑的。基于此，我们介绍了一种新的概念：算子半径。算子半径描述了不同维度上算子不同的表现。我们进一步提出了通过标准反向传播方法来优化算子本身。

4.各种形式的卷积算子解耦

如图所示，对各种形式的算子进行了解耦运算，如内积、超球面、超球、双曲线、线性、分割、对数、混合等卷积算子。具体公式见论文。从图中可以看出，解耦运算具有非常直观的几何解释，数值维度和角度维度的变化，在不同的卷积算子中的解耦关系非常直观。展开论述详见论文。

5.算子半径：在数值和角度不同维度上的表现

我们设计了可学习的数值函数h（x）和角度函数g（x），他们的超参数可以通过反向传播方法进行学习调整，因此我们算子就可以使用人工调整和反向传播学习两种方式调整超参数。可以有效改善传统人工调整方法需要重复跑算法带来的计算成本问题。

6.目标识别的实验效果

在CIFAR数据集中，与目前高水平代表的ResNet-1001进行了对比，结果表明DCNets非常具有竞争力，在CIFAR-10上接近ResNet-1001的表现，在CIFAR-100的表现则优于ResNet-1001。

在ImageNet-2012数据集中，我们用解耦网络对ResNet进行了解耦修改，试验结果优于修改前的标准ResNet-18网络。

7.对抗攻击的实验效果

在CIFAR-10数据集中进行白盒攻击的模型表现，可以看到TanhConv网络（解耦网络的一种）具有非常好的鲁棒性。

在CIFAR-10数据集中进行黑盒攻击的模型表现，可以看到TanhConv网络（解耦网络的一种）具有非常好的鲁棒性。

8.后续研究探讨

在后续工作中研究网络结构和解耦算子之间的关系将会是非常有趣的一项探索。