一步步构建卷积模型

注：这篇文章的内容来自课程[Convolutional Neural Networks]的编程练习: Convolutional Model: step by step。虽然诸如TensorFlow之类的框架已经有高度集成的卷积神经网络模块，但是一步步构建卷积模型对深入理解卷积神经网络还是有帮助的。

在这个编程练习中，我们将使用numpy实现卷积(CONV)层和池化(POOL)层。

本指南采用的符号：

上标[l]代表第l层的对象。

比如：a[4]为第4层的激励函数，W[5]和b[5]是第5层的参数。

上标(i)代表第i个样本的对象。

比如：x(i)是第i个输入样本。

下标i表示向量的第i个项.

例如：a[l]i表示第l层激活函数的第i个项，假定该层是全连接(FC)层。

nH、nW和nC分别表示某个层的高、宽和通道数。如果你要指代第l层，可以写作nH[l]、nW[l]、nC[l]。

nHprev、nWprev和nCprev分别代表前一层的高、宽和通道数。如果要特别指明是第l层，也可以写作nH[l−1]、nW[l−1]、nC[l−1] .

开始编程之前，你需要熟悉numpy。 让我们开始吧！

1 - 导入包

首先导入本次编程练习所需的包。

注：%是Jupyter Notebook中的指令标记，如果上述代码放在纯python脚本中，需要去掉%行。

2 - 编程作业大纲

接下来你将实现卷积神经网络的构建模块！每个功能都有详细的说明：

卷积函数包括：

零填充

卷积窗口

卷积前向传播

池化功能包括：

池化前向传播

创建蒙版

你将在numpy中从头开始实现这些功能，在下一个编程练习中，你将使用TensorFlow来构建以下模型：

请注意，对于每个前向函数，都有对应的反向传播计算。因此，在前向模块的每一步计算中，你都会将一些参数存储在缓存中，这些参数将用于计算反向传播的梯度。

3 - 卷积神经网络

尽管有了编程框架，使得卷积易于使用，但它们仍然是深度学习中最难理解的概念之一。卷积层将输入数据卷转换为不同大小的输出数据卷，如下所示。

在这部分中，你将构建卷积图层的每一步。首先实现两个辅助函数：一个用于零填充，另一个用于计算卷积函数本身。

3.1 - 零填充

零填充在图像的边界周围添加零元素：

图1 零填充：3通道图像填充2个单位。

填充的主要好处有：

使用CONV层，而不必缩小卷的高度和宽度。这对于建立更深的网络非常重要，否则网络很深，高度/宽度会剧减。这其中有一个重要的特例是“相同”卷积，其高度/宽度在卷积运算之后完全保留。

它可以帮助我们保存更多图像的边界信息。如果没有填充，下一层的部分数据将受到像素边缘的影响。

练习：实现以下功能，将样本X中的所有图像做零填充。请使用np.pad实现。请注意，如果要给形状为(5,5,5,5,5)的阵列“a”，第二维以pad=1填充，第四维以pad=3填充，其余维度pad=0，你可以这样实现：

3.2 - 单步卷积

在这一部分中，你将实现一个单步卷积，在该步骤中将过滤器应用于输入的单个位置。它将用来构成一个卷积单元，其中：

获取输入卷

在输入卷的每个位置应用过滤器

输出另一数据卷（通常是不同的大小）

图2 卷积运算：过滤器大小为2x2，步长为1

在计算机视觉应用中，左侧矩阵中的每个值对应一个像素值，我们将3x3滤波器与图像进行卷积运算，将其值与原始矩阵进行元素乘法，然后对它们进行求和并添加偏差。练习的第一步，你将实现单步卷积，也就是将过滤器应用于其中一个位置以获得单个实数输出。

在后面的程序，你将把这个函数应用到输入卷的多个位置，从而实现完整的卷积运算。

练习：实现conv_single_step()。

3.3 - 卷积神经网络 - 前向传播

在前向传播中，你将使用多个过滤器，在输入卷上进行卷积运算。每个’卷积’给你一个2D矩阵输出，然后堆叠这些输出以获得3D数据卷：

练习：实现下面的函数，在输入激活A_prev上和过滤器W进行卷积运算。该函数参数有输入A_prev、前一层的激活输出(输入批量为m)、F个滤波器(由权重W以及偏置向量b代表，其中每个滤波器具有其自己的偏置)。最后，你还可以访问包含步幅和填充的超参数字典。

提示：

要选择形状为(5,5,3)的矩阵“a_prev”的左上角2x2切片，你应该这样实现：

要定义a_slice，你需要先定义四个角：vert_start、vert_end、horiz_start和horiz_end。下面这个图可能有助于你在下面的代码中找到如何使用h、w、f和s来定义每个角点。

图3 使用垂直和水平方向的开始/结束定义切片(2x2过滤器)，这个图仅展示单通道

提醒：卷积的输出形状与输入形状的公式为：

对于这个练习，我们无需考虑矢量化，用for循环来实现所有的东西。

最后，CONV层还应包含激活函数，通常添加以下代码行：

但这里暂时不需要这样做。

4 - 池化层

池化(POOL)层减少输入的高度和宽度。它有助于减少计算量，并有助于使特征检测器的输入位置更加稳定。 这两种池化层是：

最大池化层：在输入上滑动(f，f)窗口，并将窗口的最大值存储在输出中。

平均池化层：在输入上滑动(f，f)窗口，并将窗口的平均值存储在输出中。

这些池话层没有反向传播训练的参数。但是，有超参数，例如窗口大小f，它指定计算最大值或平均值的fxf窗口的高度和宽度。

4.1 - 前向池

现在，你将在同一函数中实现MAX-POOL和AVG-POOL。

练习：实现池化层的前向传播，请根据注释中的提示实现。

提醒：因为没有填充，所以输入形状到输出形状的公式为：

恭喜！ 你现在已经实现了卷积网络所有层的前向传播。

现代深度学习框架中，你只需要实现前向传播，而框架负责反向传播，所以大多数深度学习工程师不需要考虑反向传播的细节。卷积网络的反向传播很复杂，这里就暂不实现，有兴趣的可以上网查找相关的资料。