100天搞定机器学习|day38 反向传播算法推导

上集我们学习了反向传播算法的原理，今天我们深入讲解其中的微积分理论，展示在机器学习中，怎么理解链式法则。

我们从一个最简单的网络讲起，每层只有一个神经元，图上这个网络就是由三个权重和三个偏置决定的，我们的目标是理解代价函数对这些变量有多敏感。这样我们就知道怎么调整这些变量，才能使代价函数下降的最快。

我们先来关注最后两个神经元，我们给最后一个神经元一个上标L，表示它处在第L层。给定一个训练样本，我们把这个最终层激活值要接近的目标叫做y，y的值为0/1。那么这个简易网络对于单个训练样本的代价就等于(a(L)−y)2。对于这个样本，我们把这个代价值标记为C0。

之前讲过，最终层的激活值公式：

换个标记方法：

整个流程就是这样的：

当然了，a(L−1)还可以再向上推一层，不过这不重要。

这些东西都是数字，我们可以想象，每个数字都对应数轴上的一个位置。我们第一个目标是来理解代价函数对权重

的微小变化有多敏感。换句话说，求C0对

的导数。

的微小变化导致

产生变化，然后导致

，最终影响到cost。

我们把式子拆开，首先求

的变化量比

的变化量，即

关于

的导数；同力考虑

变化量比

的变化量，以及最终的c的变化量比上直接改动

产生的变化量。

这就是链式法则

开始分别求导

这只是包含一个训练样本的代价对

的导数， 总的代价函数是所有训练样本代价的总平均，它对

的导数就要求出这个表达式对每一个训练样本的平均，

这只是梯度向量的一个分量，梯度由代价函数对每一个权重和偏置求导数构成。

当然了，对偏置求导数也是同样的步骤。只要把

替换成

同样的，这里也有反向传播的思想

到此，我们可以方向应用链式法则，来计算代价函数对之前的权重和偏置的敏感程度

到这里，我们可以看每层不止一个神经元的情况了，其实并不复杂太多，只是多写一些下标罢了。

这些方程式和之前每层只有一个神经元的时候本质上一样的

代价函数也类似

不同的是代价函数对（L-1）层激活值的导数 因为此时，激活值可以通过不同的途径影响cost function，

只要计算出倒数第二层代价函数对激活值的敏感度，接下来重复上述过程就行了。至此，反向传播介绍完毕。