前言
在深度学习中的参数梯度推导(三)上篇中,我们总结了CNN(卷积神经网络)的前向传播。在本篇(中篇)以及之后的下篇里,我们要解决CNN反向梯度的推导问题。本篇的主要内容是给出CNN的BP推导的初步概览,以及CNN的BP推导第一步:BP通过池化层时梯度的计算公式。
注意:本文默认读者已具备深度学习上的基本知识
3.2
CNN的BP推导
下面我们就针对问题2,3,4来一步步研究CNN的反向传播算法。
在推导过程中,需要注意的是,由于卷积层可以有多个卷积核,各个卷积核的处理方法是完全相同且独立的,为了简化算法公式的复杂度,我们下面提到卷积核都是卷积层中若干卷积核中的一个。
因为CNN前传的顺序一般是卷积-池化,所以BP推导的时候,我们先看池化的BP推导,然后在看卷积的BP推导。
参考资料
https://www.cnblogs.com/pinard/p/6519110.html
https://grzegorzgwardys.wordpress.com/2016/04/22/8/#unique-identifier
深度学习
TO BE CONTINUED
数学
文章作者: 中国电信研究院 | 刘心唯
文章内容系作者个人观点,不代表融智未来公众号的观点或立场。