深度学习之卷积

今日休假，把卷积神经网络梳理下。先从一些基本概念入手，什么是卷积？为什么叫这么个名字？ 搜索了一遍，网上有很多人已经表述的非常好了，这里用自己理解的语言重述下。

既然是卷积，肯定是一种积，积我们知道是两个数的乘的结果，那么卷积也是一种乘，所以需要两个相乘的单元。

先考虑在一维变量上：

image

函数 f 与函数 g 不停在搏斗，同时把搏斗的结果进行求和，而且这个过程是从生到死（负无穷-正无穷） 下面是连续函数的积分表达形式，效果是一样的

image

上面的两个式子可以看到有共同的地方就是：

image

这就有意思了，也就是解释卷积的“卷”的关键所在。

我们假设

image

x+y=a 是一条直线，a 的取值从负无穷到正无穷，这个过程就是把 xy 坐标系从西南角一直扫描到东北角，就像我们卷手绢一样，还是比较形象的。

image

有了上面的认识，我们进一步看看二维的。 如果在在二维空间，有函数 f(x, y) 和 g(x, y)，他们两个做乘积，也就是：

image

这个式子看上去有点小复杂，其实就是表示从负无穷到正无穷的全部 s 和 t 值，把 g 在 (x-s, y-t) 上的值乘以 f 在 (s, t) 上的值之后再“加和”到一起，得到 c 在 (x, y) 上的值。说白了卷积就是一种“加权求和”：以 f 为权，以 (x, y) 为中心，把 g 距离中心 (-s, -t) 位置上的值乘上 f 在 (s, t) 的值，最后加到一起。 如果是离散的，把积分修改为求和即可：

image

式子最右边就是表示跨度德尔塔为1。

尤其需要注意的是 f 与 g 里面的 s 与 t 的正负方向。

举个例子： 假如现在有一个10*10的图片，该图片是灰度处理过的，也就是黑白图片，不是 RGB 三个通道的。 在这1010的格子里有对应的值，范围之外全是0，我们令整个图片叫 G。另外还有一个矩阵（一般应该是特征矩阵，用来提取大图的特征），我们叫他F,他的值应该是预先给定好的，这里我们也是假设一组数据填充进来。

image

接下来，我们要做的就是，把 F 进行上下左右反转，形成 F‘，然后与 G 从00点开始对齐，进行小格子乘积操作，再求和。 比如在3**7这个点进行，求新得到的该点数值。

image

image

上述操作其实就是对数字图像进行离散卷积操作，又叫滤波。F 称作卷积核或滤波器。不同的 F 有不同的效果。 比如：

image

经过不同的卷积核，可能得到的图片：

image

image

进一步

有了卷积，我们可能还要做一些辅助的事，比如步长，补0等。 比如有一个5乘5的矩阵，都是1，现在有一个2**2卷积核,值是[-1,0，0，-1]。

image

现在需要做卷积，每次移动2格，也就是步长是2，开始计算各个小区块，如下图。

image

最终结果是: -2,-2,-1, -2,-2,-1, -1,-1,-1

在移动步长的时候，不足的地方需要补0操作,如果不补0，就 dropped，这都是 padding 的策略

多核卷积

一个 G 函数，可以使用多个 F 函数做卷积核，得到不同的卷积结果，也就是某张图片使用多个卷积核，得到各个不同地方的特征。

全卷积

全卷积也叫反卷积，他的步长是1，是把原始图片的每个像素点用卷积操作展开。比如下图，

image

如果原始图片的大小是 N1乘N1，核的大小是 N2乘N2，那么生成的图片大小是：（N1+N2-1）（N1+N2-1）

池化

池化的操作就是降低维度，我们再对图片做操作的时候，由于维度太多，需要降低维度，同时要保持特征部分。池化的操作也是需要一个矩阵，也需要步长，原始数据经过池化操作，矩阵大小明显变小，里面的数值的确定有：取池化范围的最大值，取池化区域均值，下图是一个最大池化的例子

image

在 TensorFlow 中学习卷积

在 TensorFlow 里面已经包装了这些函数，我们不在需要逐个计算，tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=None) 函数实现了卷积操作。来看下他的具体参数含义： 给定一个input的张量[batch, in_height, in_width, in_channels]和一个过滤器 / 内核张量 [filter_height, filter_width, in_channels, out_channels]后，执行以下操作：

• 展平filter为一个形状为[filter_height * filter_width * in_channels, output_channels]的二维矩阵。
• 从input中按照filter大小提取图片子集形成一个大小为[batch, out_height, out_width, filter_height * filter_width * in_channels]的虚拟张量。
• 循环每个图片子集，右乘filter矩阵。

举个例子： 有一个输入[1,3,3,1],表示一个图像，33大小，1个通道； filter 是[2,2,1,1]表示过滤器是22大小，输入输出通道都是1； 步长是1，padding是VALID； 这种情况下，输出是1x2x2x1，其中2=（3-2）/1+1，即(图片大小-filter大小)/步长+1。

input 和 filter 都是4维度

import tensorflow as tf

input = tf.constant([[
  [[1],
   [2],
   [ 3]],
  [[4],
   [5],
   [6 ]],
  [[ 7],
   [8],
   [9]]]],dtype=tf.float32)
filter = tf.constant([[[[1]],
  [[2]]],
 [[[ 3]],
  [[4]]]],dtype=tf.float32)

op = tf.nn.conv2d(input,filter,strides = [1,1,1,1],padding ='VALID')with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    result = sess.run(op)
    print(result)

输出结果是：

[[[[37.]
   [47.]]

  [[67.]
   [77.]]]]

如果 padding（补0操作）是 SAME，也就是和输入一样大小，那么

op = tf.nn.conv2d（input，filter，strides = [1,1,1,1]，padding ='SAME'）

得到的结果1x3x3x1。

[[[[37.]
   [47.]
   [21.]]

  [[67.]
   [77.]
   [33.]]

  [[23.]
   [26.]
   [ 9.]]]]

image

对于多通道来说，输入是[1x3x3x2]是3x3图像有2个通道，过滤器是[2x2x2x1]是2x2大小2个输入1个输出，步长是1，padding=VALID，输出是[1x2x2x1],如图：

image