『深度概念』一文读懂Octave Convolution（OctConv）八度卷积

RyanXing

Multimedia Processing & Computer Vision.

Paper | Octave Convolution（OctConv）

论文：Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution

1. 尺度空间理论（scale-space theory）

参考：维基百科

如果我们要处理的图像目标的大小/尺度（scale）是未知的，那么我们可以采用尺度空间理论。

其核心思想是将图像用多种尺度表示，这些表示统称为尺度空间表示（scale-space representation）。 我们对图像用一系列高斯滤波器加以平滑，而这些高斯滤波器的尺寸是不同的。 这样，我们就得到了该图像在不同尺度下的表示。

公式化：假设二维图像为f(x,y)f(x,y)，二维高斯函数（关于tt的簇）为g(x,y;t)=12πte−x2+y22tg(x,y;t)=12πte−x2+y22t，那么线性尺度空间就可以通过二者卷积（Convolution）得到：

L(⋅,⋅;t)=g(⋅,⋅;t)∗f(⋅,⋅)L(⋅,⋅;t)=g(⋅,⋅;t)∗f(⋅,⋅)

高斯滤波器的方差t=σ2t=σ2被称为尺度参数（scale parameter）。 直观地看，图像中尺度小于t√t的结构会被平滑地无法分辨。因此，tt越大，平滑越剧烈。 实际上，我们只会考虑t≥0t≥0的一些离散取值。当t=0t=0时，高斯滤波器退化为脉冲函数（impulse function），因此卷积的结果是图像本身，不作任何平滑。 看图：

事实上，我们还可以构造其他尺度空间。 但由于线性（高斯）尺度空间满足很多很好的性质，因此是使用最为广泛的。

尺度空间方法最重要的属性是尺度不变性（scale invariant），使得我们可以处理未知大小的图像目标。

最后要注意的是，在构造尺度空间时，往往还伴随着降采样。 比如t=2t=2的尺度空间，我们会将其分辨率减半，即面积减为1/41/4。这也是本文的做法。

2. OctConv

作者认为：不仅自然世界中的图像存在高低频，卷积层的输出特征图以及输入通道（feature maps or channels）也都存在高、低频分量。 低频分量支撑的是整体，比如企鹅的白色大肚皮。显然，低频分量是存在冗余的，在编码过程中可以节省。

基于以上考虑，作者提出OctConv用以取代传统CNN（vanilla CNN）。有以下两个关键步骤：

第一步，我们要获得输入通道（或图像）的线性尺度表示，称为Octave feature representation。 所谓高频分量，是指不经过高斯滤波的原始通道（或图像）； 所谓低频分量，是指经过t=2t=2的高斯滤波得到的通道（或图像）。 由于低频分量是冗余的，因此作者将低频分量的通道长/ 宽设置为高频分量通道长/ 宽的一半。 在音乐中，Octave是八音阶的意思，隔一个八音阶，频率会减半；在这里，drop an octave就是通道尺寸减半的含义。 那么高频通道和低频通道比例是多少呢？作者设置了一个超参数α∈[0,1]α∈[0,1]，表示低频通道的比例。 在本文中，输入通道低频比例αinαin和输出通道低频比例αoutαout设为相同。

图：企鹅白肚皮（低频）冗余（上）；传统CNN，OctConv对比（下）。

问题来了：由于高/ 低频通道尺寸不一，因此传统卷积无法执行。 但我们又不能简单地对低频通道进行升采样，因为这样不就白干了嘛，计算量和内存就没办法节省了。

因此我们有第二步： 第二步，作者提出了对应的卷积解决方案：Octave Convolution。

首先给一些定义： 设图像的低频分量和高频分量分别是XLXL和XHXH，卷积输出的低频分量和高频分量分别是YLYL和YHYH。卷积操作中，WHWH负责构建YHYH，WLWL负责构建YLYL。

我们希望： WHWH既有负责XHXH到YHYH的部分：WH→HWH→H，也有负责XLXL到YHYH的部分：WL→HWL→H，即WH=[WH→H,WL→H]WH=[WH→H,WL→H]。

其结构如下图右边所示。 其中，WH→HWH→H是传统卷积，因为输入、输出图像尺寸一样大；对于WL→HWL→H部分，我们先对输入图像进行升采样（upsample），再执行传统卷积。这样，整体计算量仍然是减少的。 WLWL同理，但对WH→LWH→L先执行的是降采样。

具体方法很简单，就是取值的问题：

降采样后卷积相当于有步长的卷积，会不太精确；因此作者最后选择了平均池化（pooling）的方式，平均取值，采样结果会较精确一些。

完整流程如图左：

整套流程下来，我们可以发现，这种滤波+新式卷积的操作是“插片式”的，不需要破坏原来的CNN框架。 值得注意的是，低频通道卷积的感受野比传统卷积更大。 通过调整低频比例αα，预测精度和计算代价可以得到权衡（trade-off）。

实验效果：在算力受限的情况下（内存消耗低），图像分类的预测精度相当高。见论文。

3. 启发

1. 我们要让神经网络更好地学习。 该文通过尺度空间变换和Octave卷积操作，让网络更清晰地分开处理高、低频分量，并且在低频分量上节约了计算量。 又比如BN技巧，也是让网络自我学习αα和ββ参数，从而实现特征中心化。 神经网络很厉害，自学能力超强，但我们要适度改造它，让它更快、更精简、更强大。
2. 我们要多从人类视觉特性上思考问题。 因为人类视觉编码的能力远远超过现有技术：分辨率大概是10亿像素（10亿个视杆/视锥细胞），但眼睛到大脑的通路带宽只有8Mbps（1k个神经节）。 本文思考的低频分量冗余，很有可能就是人类视觉编码特性中主要解决的冗余之一。