TensorFlow基本操作 实现卷积和池化

之前已经提到过图像卷积的操作和意义,并且用OpenCV中的filter2D函数实现了一些例子。OpenCV中的filter2D函数仅仅是用一个卷积核去卷积单个的图像矩阵,而在TensorFlow中,卷积操作主要用于CNN中的卷积层,所以输入不再仅仅局限与三维或一维的矩阵,卷积核的个数不再是单个,输出的通道数=卷积核的个数,为此TensorFlow提供了tf.nn.conv2d函数实现了一个卷积层的卷积操作。定义如下:

def conv2d(input, 
           filter, 
           strides,
           padding, 
           use_cudnn_on_gpu=None,
           data_format=None, 
           name=None)

其中参数分别为: 第一个参数为当前层的矩阵,在卷积神经网络中它是一个四维的矩阵,即[batch,image.size.height,image.size.width,depth]; 第二个参数为卷积核(滤波器),由tf.get_variable函数创建得到; 第三个参数为不同维度上的步长,其实对应的是第一个参数,虽然它也是四维的,但是第一维和第四维的数一定为1,因为我们不能间隔的选择batch和depth; 第四个参数为边界填充方法。

tf.get_variable函数用以创建卷积核和偏置的权重变量,其结果一般作为tf.nn.conv2d和tf.nn.bias_add函数的输入,函数定义如下:

def get_variable(name,
                 shape=None,
                 dtype=None,
                 initializer=None,
                 regularizer=None,
                 trainable=True,
                 collections=None,
                 caching_device=None,
                 partitioner=None,
                 validate_shape=True,
                 use_resource=None,
                 custom_getter=None)

需要说明的是,其第二个参数表示卷积核的维度,也是一个四维的矩阵,[filter.size,filter.size,depth,num],前三个参数定义了单个卷积核的尺寸,其中的depth应该等于需要卷积的层的depth,即[batch,image.size,image.size,depth]中的第四个参数。而num可以理解为卷积核的个数,它决定了下一层输出的通道数。

所以在CNN中的一个卷积层的卷积操作在TensorFlow中可以用5行代码来实现——定义卷积核,定义偏置,卷积操作,加入偏置,ReLu激活。

filter_weight = tf.get_variable(name,dtype)
biases = tf.get_variable(name,dtype)
conv = tf.nn.conv2d(input, filter_weight,strides,padding)
bias = tf.nn.bias_add(conv, biases)
actived_conv = tf.cnn.relu(bias)

同样的,TensorFlow也提供了池化操作的函数,其中最大池化为tf.nn.max_pool,平均池化为tf.nn.avg_pool,拿平均池化说吧:

def avg_pool(value, 
            ksize, 
            strides, 
            padding, 
            data_format="NHWC", 
            name=None):

这个函数和tf.nn.conv2d很像,就不逐个参数说明了,主要注意的一定是第二个参数,在tf.nn.conv2d中第二个参数是需要训练权重,而在avg_pool函数中只需要直接给出四个维度就好,这是因为池化操作的卷积核参数不需要训练得到,而是直接指定,参数是什么由是最大池化还是平均池化有关。由于池化操作一般只用来降尺寸,而不是降通道数,所以池化层的核一般选择为[1,2,2,1][1,3,3,1]。

为了更清晰的理解卷积和池化操作,在这里不直接给出网络,而是用指定的卷积核和偏置卷积操作一个指定的矩阵: 假设输入矩阵为:

指定卷积核为:

指定偏置为: [1, 1, 1, …., 1]

import tensorflow as tf
import numpy as np

M = np.array([
        [[1],[-1],[0]],
        [[-1],[2],[1]],
        [[0],[2],[-2]]
    ])
#打印输入矩阵shape
print("Matrix shape is: ",M.shape)
#卷积操作
filter_weight = tf.get_variable('weights',
                                [2, 2, 1, 1], 
                                initializer = tf.constant_initializer([                                                                       [1, -1],                                                                       [0, 2]]))
biases = tf.get_variable('biases', 
                         [1],
                         initializer = tf.constant_initializer(1))
#调整输入矩阵的格式符合TensorFlow的要求,batch=1
M = np.asarray(M, dtype='float32')
M = M.reshape(1, 3, 3, 1)

x = tf.placeholder('float32', [1, None, None, 1])
conv = tf.nn.conv2d(x, filter_weight, strides = [1, 2, 2, 1], padding = 'SAME')
bias = tf.nn.bias_add(conv, biases)
pool = tf.nn.avg_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
with tf.Session() as sess:
    tf.global_variables_initializer().run()
    #将M feed到定义好的操作中
    convoluted_M = sess.run(bias,feed_dict={x:M})
    pooled_M = sess.run(pool,feed_dict={x:M})

    print("convoluted_M: \n", convoluted_M)
    print("pooled_M: \n", pooled_M)

结果: Matrix shape is: (3, 3, 1) convoluted_M: [[[[ 7.] [ 1.]]

[[-1.] [-1.]]]] pooled_M: [[[[ 0.25] [ 0.5 ]]

[[ 1. ] [-2. ]]]]

在IPython中的结果如上面所示,为了方便换看,把他弄成正常矩阵的形式: convoluted_M: [[ [[ 7.] [ 1.]] [[-1.] [-1.]] ]] pooled_M: [[ [[ 0.25] [ 0.5 ]] [[ 1. ] [-2. ]] ]] 就是上面这样了,需要注意的是,边界填充是在右侧和下方单边填充(补零),即:

(3-2+1)/2+1=2

卷积后加入偏置即为convoluted_M,平均池化后为pooled_M。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

入门 | 区分识别机器学习中的分类与回归

2925
来自专栏机器学习算法原理与实践

隐马尔科夫模型HMM(二)前向后向算法评估观察序列概率

    在隐马尔科夫模型HMM(一)HMM模型中,我们讲到了HMM模型的基础知识和HMM的三个基本问题,本篇我们就关注于HMM第一个基本问题的解决方法,即已知模...

703
来自专栏智能算法

Matlab编程之——卷积神经网络CNN代码解析

deepLearnToolbox-master是一个深度学习matlab包,里面含有很多机器学习算法,如卷积神经网络CNN,深度信念网络DBN,自动编码Auto...

4628
来自专栏WD学习记录

kmeans优化算法

①算法可能找到局部最优的聚类,而不是全局最优的聚类。使用改进的二分k-means算法。

833
来自专栏新智元

【值得收藏的深度学习思维导图】全面梳理基本概念与11大模型关系

【新智元导读】 作者dformoso在Github上放出了自己绘制的深度学习思维导图,共有三张:基本概念、架构和TensorFlow。以图示的方法介绍深度学习必...

2423
来自专栏技术随笔

深度学习 — 反向传播(BP)理论推导"BP" Math Principle前向传播反向传播应用实例Reference

4106
来自专栏大数据挖掘DT机器学习

梯度下降法求解逻辑回归

梯度下降法(Gradient Descent)是优化问题中一种常用的手段,一般用于凸函数问题(或者可以转换为凸函数的问题)的求解,而逻辑回归问题就可以转换为一...

2665
来自专栏python读书笔记

《算法图解》note 10 K近邻算法1.K近邻算法简介2.python实现方式3.K近邻算法的优缺点

18410
来自专栏小鹏的专栏

感知机--模型与策略

看到模型和策略,应该很快联想到了李航的《统计学习方法》,统计学习方法的三要素定义为:模型、策略、算法。 感知机 感知机是二分类的线性分类模型,输入为实例的...

1845
来自专栏小小挖掘机

听说GAN很高大上,其实就这么简单

本文使用的tensorflow版本:1.4 tensorflow安装:pip install tensorflow 1、先来目睹一下效果吧 这篇文章讲解了如何使...

4274

扫码关注云+社区