手撕CNN系列三：卷积神经网络的反向传播

15

卷积神经网络（CNN）现在是图像分类的标准方式，其 具有可公开访问的深度学习框架、训练有素的模型和服务。下面我们来更深入地了解CNN网络中的权值共享以及反向传播原理，

我们从多层感知器开始并计算delta误差：

我们在上面的图片中看到与下一层按权重缩放的增量成正比。但是我们如何将MLP的概念与卷积神经网络联系起来呢？在MLP中，前一层的值通过网络的权重矩阵相乘得到下一层的神经元值，其中权重共享示意图如下所示：

而在CNN中，我们是通过卷积将前一层输入到下一层，所以下面的图片就是在CNN中连接切割和权重共享后我们得到一层卷积神经网络：

这个图背后的想法是表明，这种神经网络配置与2D卷积运算相同，权重只是滤波器（也称为内核，卷积矩阵或掩码）。现在我们通过图片来显示CNN中的梯度计算。

我们刚刚用“橙色”层的权重渐变来缩放“蓝色层”。与MLP的反向传播过程相似。只是在MLP中我们通过点乘，在这里我们使用卷积：

是的，它与前一个(前向)案例的卷积有点不同。在那里我们做了所谓的有效卷积，而在这里我们做了一个完整的卷积。更重要的是我们将内核旋转180度。

具体公式我们不推导，详情可查看文章：https://www.jefkine.com/general/2016/09/05/backpropagation-in-convolutional-neural-networks/

现在，我们可以总结一下CNN反向传播过程：

1、CNN将传统网络层间的矩阵点乘替换为前馈和反向传播中的卷积运算。

2、卷积神经网络采用权重共享策略，可以显着减少必须学习的参数数量。在连续卷积层中存在较大的感受野大小的神经元，并且存在汇集层，这也导致平移不变性。正如我们所观察到的，前向和后向传播的推导将根据我们传播的层而不同。