TensorFlow中CNN的两种padding方式“SAME”和“VALID”

在用tensorflow写CNN的时候,调用卷积核api的时候,会有填padding方式的参数,找到源码中的函数定义如下(max pooling也是一样):

def conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=None)

源码中对于padding参数的说明如下:

padding: A string from: "SAME", "VALID". The type of padding algorithm to use.

说了padding可以用“SAME”和“VALID”两种方式,但是对于这两种方式具体是什么并没有多加说明。 这里用Stack Overflow中的一份代码来简单说明一下,代码如下:

x = tf.constant([[1., 2., 3.],
                 [4., 5., 6.]])

x = tf.reshape(x, [1, 2, 3, 1])  # give a shape accepted by tf.nn.max_pool

valid_pad = tf.nn.max_pool(x, [1, 2, 2, 1], [1, 2, 2, 1], padding='VALID')
same_pad = tf.nn.max_pool(x, [1, 2, 2, 1], [1, 2, 2, 1], padding='SAME')

print(valid_pad.get_shape())
print(same_pad.get_shape())

最后输出的结果为:

(1, 1, 1, 1) (1, 1, 2, 1)

可以看出“SAME”的填充方式是比“VALID”的填充方式多了一列。 让我们来看看变量x是一个2x3的矩阵,max pooling窗口为2x2,两个维度的strides=2。 第一次由于窗口可以覆盖(橙色区域做max pool操作),没什么问题,如下:

1

2

3

4

5

6

接下来就是“SAME”和“VALID”的区别所在,由于步长为2,当向右滑动两步之后“VALID”发现余下的窗口不到2x2所以就把第三列直接去了,而“SAME”并不会把多出的一列丢弃,但是只有一列了不够2x2怎么办?填充!

1

2

3

0

4

5

6

0

如上图所示,“SAME”会增加第四列以保证可以达到2x2,但为了不影响原来的图像像素信息,一般以0来填充。(这里使用表格的形式展示,markdown不太好控制格式,明白意思就行),这就不难理解不同的padding方式输出的形状会有所不同了。

在CNN用在文本中时,一般卷积层设置卷积核的大小为n×k,其中k为输入向量的维度(即[n,k,input_channel_num,output_channel_num]),这时候我们就需要选择“VALID”填充方式,这时候窗口仅仅是沿着一个维度扫描而不是两个维度。可以理解为统计语言模型当中的N-gram。

我们设计网络结构时需要设置输入输出的shape,源码nn_ops.py中的convolution函数和pool函数给出的计算公式如下:

 If padding == "SAME":
      output_spatial_shape[i] = ceil(input_spatial_shape[i] / strides[i])

    If padding == "VALID":
      output_spatial_shape[i] =
        ceil((input_spatial_shape[i] -
              (spatial_filter_shape[i]-1) * dilation_rate[i])
              / strides[i]).

dilation_rate为一个可选的参数,默认为1,这里我们可以先不管它。 整理一下,对于“VALID”,输出的形状计算如下:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏debugeeker的专栏

《coredump问题原理探究》windows版5.2节数组

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xuzhina/article/detai...

1063
来自专栏debugeeker的专栏

《coredump问题原理探究》windows版8.5节堆布局空闲堆块遍历

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xuzhina/article/detai...

601
来自专栏专知

基于网页的图像标注工具——imglab

【导读】imglab是一种基于Web的工具,用于标记可用于训练dlib或其他对象检测器的对象的图像。

1.2K3
来自专栏AI研习社

Github 项目推荐 | 用 PyTorch 0.4 实现的 YoloV3

该库 fork 自 @github/marvis 的 pytorch-yolo2,不过作者没有直接修改或者更新 marvis 的源文件,因为很多文件已经改了文件...

1933
来自专栏weixuqin 的专栏

深度学习之 TensorFlow(三):TensorFlow 源代码解析

2542
来自专栏weixuqin 的专栏

深度学习之 TensorFlow(三):TensorFlow 源代码解析

4376
来自专栏debugeeker的专栏

《coredump问题原理探究》windows版7.1节vector

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xuzhina/article/detai...

1072
来自专栏xingoo, 一个梦想做发明家的程序员

汇编语言 手记4

简单的汇编指令 ? CPU执行后,寄存器中的数据改变为如下: ? CPU访问内存单元时要给出内存单元的地址。所有的内存单元构成的存储空间是一个一维的线性空间。 ...

1955
来自专栏Hongten

自己写了一个展开和收起的js效果...分享给大家

3.当自己处于全部显示的时候,点击其他的展开是,自己内容隐藏,原来的"收起"变为"展开"

4212
来自专栏云时之间

深度学习与神经网络:调用数据集,完成应用(2)

1022

扫码关注云+社区

领取腾讯云代金券