Understanding Convolution in Deep Learning(二)

我们现在有一个非常好的直觉，卷积是什么，以及卷积网中发生了什么，为什么卷积网络是如此强大。 但我们可以深入了解卷积运算中真正发生的事情。我们将看到计算卷积的原始解释是相当麻烦的，我们可以开发更复杂的解释，这将帮助我们更广泛地思考卷积，以便我们可以将它们应用于许多不同的数据。要实现这种更深入的理解，第一步是理解卷积定理。

The convolution theorem

为了进一步发展卷积的概念，我们利用卷积定理，它涉及了在时间/空间域中的卷积 - 卷积特征难以处理的积分或求和的地区-变到在频率/傅里叶域中单纯的点乘。 这个定理非常强大，广泛应用在许多科学上。 卷积定理也是快速傅里叶变换（FFT）算法被认为是20世纪最重要的算法之一的原因之一。

第一个方程是两个一般连续函数的一维连续卷积定理; 第二个方程是离散图像数据的2D离散卷积定理。 这里表示卷积运算，表示傅里叶变换，逆傅里叶变换，并且是归一化常数。 注意，“离散”在这里意味着我们的数据由可计数的变量（像素）组成; 并且1D意味着我们的变量可以以有意义的方式在一个维度中展开。 时间是一维的（一秒一个），图像是二维的（像素具有行和列），视频是三维的（像素具有行和列，并且图像一个接一个的）。

为了更好地理解在卷积定理中发生了什么，我们现在看看关于数字图像处理的傅立叶变换的解释。

Fast Fourier transforms

快速傅立叶变换是将数据从空间/时域变换到频域或傅立叶域的算法。 傅里叶变换描述了波状余弦和正弦项之和中的原始函数。要注意，傅里叶变换通常是复值，这意味着实值会被变换为具有实部和虚部的复值。通常，虚部只对某些操作很重要，比如将频率转换回空间/时间域，但是在本博文中这无关紧要。 下面你可以看到经由傅里叶变换的一个信号（一个信息的函数具有时间参数，周期性）的可视化。

Transformation of the time domain (red) into thefrequency domain (blue). Source

你可能没有意识到这一点，但你每天都能看到傅里叶变换之后的值：如果红色信号是一首歌，那么蓝色的值可能是由MP3播放器显示的均衡器。（这是个动图参见http://commons.wikimedia.org/wiki/File:Fourier_transform_time_and_frequency_domains.gif）

The Fourier domain for images

Images by Fisher & Koryllos (1998). BobFisher also runs an excellent website about Fourier transforms and image processing in general.

我们该如何想象图像的频率？ 想象一张纸画着两个上图的图案之一。 现在想象一个波从纸的一个边界移动到刺穿纸的另一个边界，波的每个条纹都有特定的颜色，并悬停在这里。这样的波以特定间隔，例如每两个像素，刺穿黑色和白色部分 - 这里表示频率。 在傅里叶变换中，较低频率更靠近中心，较高频率在边缘（图像的最大频率在最边缘）。具有高强度（图像中的白色）的傅立叶变换之后的值的位置根据原始图像中的强度的最大变化的方向排序。 这从相邻图像和其傅立叶变换的对数（将对数应用到实数值会减少图像中像素强度的差异，这样我们会更容易地看到信息）。

Images by Fisher & Koryllos (1998)

傅立叶变换包含了关于图像里对象的方向的大量信息。 如果一个物体转过例如37％的角度，则很难从原始像素信息中得出，而从傅立叶变换值中可以很清楚。这是一个重要的理解：由于卷积定理，我们可以想象卷积网络在傅里叶域中操作图像，并且从上面的图像得知，我们现在知道该域中的图像包含了关于方向的大量信息。因此，当涉及旋转图像时，卷积网络应该比传统算法更好，这是真的（尽管当我们将它们与人类视觉相比较时，卷积网络仍然是非常糟糕的）。