深度学习之卷积

今日休假,把卷积神经网络梳理下。先从一些基本概念入手,什么是卷积?为什么叫这么个名字?

搜索了一遍,网上有很多人已经表述的非常好了,这里用自己理解的语言重述下。

既然是卷积,肯定是一种积,积我们知道是两个数的乘的结果,那么卷积也是一种乘,所以需要两个相乘的单元。

先考虑在一维变量上:

image

函数 f 与函数 g 不停在搏斗,同时把搏斗的结果进行求和,而且这个过程是从生到死(负无穷-正无穷)

下面是连续函数的积分表达形式,效果是一样的

image

上面的两个式子可以看到有共同的地方就是:

image

这就有意思了,也就是解释卷积的“卷”的关键所在。

我们假设

image

x+y=a 是一条直线,a 的取值从负无穷到正无穷,这个过程就是把 xy 坐标系从西南角一直扫描到东北角,就像我们卷手绢一样,还是比较形象的。

image

有了上面的认识,我们进一步看看二维的。

如果在在二维空间,有函数 f(x, y) 和 g(x, y),他们两个做乘积,也就是:

image

这个式子看上去有点小复杂,其实就是表示从负无穷到正无穷的全部 s 和 t 值,把 g 在 (x-s, y-t) 上的值乘以 f 在 (s, t) 上的值之后再“加和”到一起,得到 c 在 (x, y) 上的值。说白了卷积就是一种“加权求和”:以 f 为权,以 (x, y) 为中心,把 g 距离中心 (-s, -t) 位置上的值乘上 f 在 (s, t) 的值,最后加到一起。

如果是离散的,把积分修改为求和即可:

image

式子最右边就是表示跨度德尔塔为1。

尤其需要注意的是 f 与 g 里面的 s 与 t 的正负方向。

举个例子:

假如现在有一个10*10的图片,该图片是灰度处理过的,也就是黑白图片,不是 RGB 三个通道的。

在这1010的格子里有对应的值,范围之外全是0,我们令整个图片叫 。另外还有一个矩阵(一般应该是特征矩阵,用来提取大图的特征),我们叫他,他的值应该是预先给定好的,这里我们也是假设一组数据填充进来。

image

接下来,我们要做的就是,把 F 进行上下左右反转,形成 ,然后与 G 从00点开始对齐,进行小格子乘积操作,再求和。

比如在这个点进行,求新得到的该点数值。

image

image

上述操作其实就是对数字图像进行离散卷积操作,又叫滤波。F 称作卷积核或滤波器。不同的 F 有不同的效果。

比如:

image

经过不同的卷积核,可能得到的图片:

image

image

进一步

有了卷积,我们可能还要做一些辅助的事,比如步长,补0等。

比如有一个5乘5的矩阵,都是1,现在有一个2**2卷积核,值是[-1,0,0,-1]。

image

现在需要做卷积,每次移动2格,也就是步长是2,开始计算各个小区块,如下图。

image

最终结果是:

-2,-2,-1,

-2,-2,-1,

-1,-1,-1

在移动步长的时候,不足的地方需要补0操作,如果不补0,就 dropped,这都是 padding 的策略

多核卷积

一个 G 函数,可以使用多个 F 函数做卷积核,得到不同的卷积结果,也就是某张图片使用多个卷积核,得到各个不同地方的特征。

全卷积

全卷积也叫反卷积,他的步长是1,是把原始图片的每个像素点用卷积操作展开。比如下图,

image

如果原始图片的大小是 N1乘N1,核的大小是 N2乘N2,那么生成的图片大小是:(N1+N2-1)(N1+N2-1)

池化

池化的操作就是降低维度,我们再对图片做操作的时候,由于维度太多,需要降低维度,同时要保持特征部分。池化的操作也是需要一个矩阵,也需要步长,原始数据经过池化操作,矩阵大小明显变小,里面的数值的确定有:取池化范围的最大值,取池化区域均值,下图是一个最大池化的例子

image

在 TensorFlow 中学习卷积

展平filter为一个形状为[filter_height * filter_width * in_channels, output_channels]的二维矩阵。

从input中按照filter大小提取图片子集形成一个大小为[batch, out_height, out_width, filter_height * filter_width * in_channels]的虚拟张量。

循环每个图片子集,右乘filter矩阵。

举个例子:

有一个输入[1,3,3,1],表示一个图像,33大小,1个通道;

filter 是[2,2,1,1]表示过滤器是22大小,输入输出通道都是1;

步长是1,padding是VALID;

这种情况下,输出是1x2x2x1,其中2=(3-2)/1+1,即(图片大小-filter大小)/步长+1。

input 和 filter 都是4维度

输出结果是:

如果 padding(补0操作)是 SAME,也就是和输入一样大小,那么

得到的结果1x3x3x1。

image

对于多通道来说,输入是[1x3x3x2]是3x3图像有2个通道,过滤器是[2x2x2x1]是2x2大小2个输入1个输出,步长是1,padding=VALID,输出是[1x2x2x1],如图:

image

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180421A0GT3900?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券