一文彻底搞懂BP算法：原理推导+数据演示+项目实战（上篇）

一文彻底搞懂BP算法：原理推导+数据演示+项目实战（上篇）

反向传播算法（BackpropagationAlgorithm，简称BP算法）是深度学习的重要思想基础，对于初学者来说也是必须要掌握的基础知识！本文希望以一个清晰的脉络和详细的说明，来让读者彻底明白BP算法的原理和计算过程。

全文分为上下两篇，上篇主要介绍BP算法的原理（即公式的推导），介绍完原理之后，我们会将一些具体的数据带入一个简单的三层神经网络中，去完整的体验一遍BP算法的计算过程；下篇是一个项目实战，我们将带着读者一起亲手实现一个BP神经网络（不适用任何第三方的深度学习框架）来解决一个具体的问题。

读者在学习的过程中，有任何的疑问，可以添加我们的公众号或是公众号中的交流群，和大家一起交流讨论！

1.BP算法的推导

图1一个简单的三层神经网络

图1所示是一个简单的三层（两个隐藏层，一个输出层）神经网络结构，假设我们使用这个神经网络来解决二分类问题，我们给这个网络一个输入样本

，通过前向运算得到输出

。输出值

的值域为

，例如

的值越接近0，代表该样本是“0”类的可能性越大，反之是“1”类的可能性大。

1.1前向传播的计算

为了便于理解后续的内容，我们需要先搞清楚前向传播的计算过程，以图1所示的内容为例：

输入的样本为：

第一层网络的参数为：

第二层网络的参数为：

第三层网络的参数为：

1.1.1第一层隐藏层的计算

图2计算第一层隐藏层

第一层隐藏层有三个神经元：

、

和

。该层的输入为：

以

神经元为例，则其输入为：

同理有：

假设我们选择函数

作为该层的激活函数（图1中的激活函数都标了一个下标，一般情况下，同一层的激活函数都是一样的，不同层可以选择不同的激活函数），那么该层的输出为：

、

和

。

1.1.2第二层隐藏层的计算

图3计算第二层隐藏层

第二层隐藏层有两个神经元：

和

。该层的输入为：

即第二层的输入是第一层的输出乘以第二层的权重，再加上第二层的偏置。因此得到

和

的输入分别为：

该层的输出分别为：

和

。

1.1.3输出层的计算

图4计算输出层

输出层只有一个神经元：

。该层的输入为：

即：

因为该网络要解决的是一个二分类问题，所以输出层的激活函数也可以使用一个Sigmoid型函数，神经网络最后的输出为：

。

1.2反向传播的计算

在1.1节里，我们已经了解了数据沿着神经网络前向传播的过程，这一节我们来介绍更重要的反向传播的计算过程。假设我们使用随机梯度下降的方式来学习神经网络的参数，损失函数定义为

，其中

是该样本的真实类标。使用梯度下降进行参数的学习，我们必须计算出损失函数关于神经网络中各层参数（权重w和偏置b）的偏导数。

假设我们要对第

层隐藏层的参数

和

求偏导数，即求

和

。假设

代表第

层神经元的输入，即

，其中

为前一层神经元的输出，则根据链式法则有：

因此，我们只需要计算偏导数

、

和

。

1.2.1计算偏导数

前面说过，第k层神经元的输入为：

，因此可以得到：计算偏导数

上式中，

代表第k层神经元的权重矩阵

的第m行，

代表第k层神经元的权重矩阵

的第m行中的第n列。

我们以1.1节中的简单神经网络为例，假设我们要计算第一层隐藏层的神经元关于权重矩阵的导数，则有：

1.2.2计算偏导数

因为偏置b是一个常数项，因此偏导数的计算也很简单：

依然以第一层隐藏层的神经元为例，则有：

1.2.3计算偏导数

偏导数

又称为误差项（errorterm，也称为“灵敏度”），一般用

表示，例如

是第一层神经元的误差项，其值的大小代表了第一层神经元对于最终总误差的影响大小。

根据第一节的前向计算，我们知道第

层的输入与第k层的输出之间的关系为：计算偏导数

又因为

，根据链式法则，我们可以得到

为：

由上式我们可以看到，第k层神经元的误差项

是由第

层的误差项乘以第

层的权重，再乘以第k层激活函数的导数（梯度）得到的。这就是误差的反向传播。

现在我们已经计算出了偏导数

、

和

，则

和

可分别表示为：

单纯的公式推导看起来有些枯燥，下面我们将实际的数据带入图1所示的神经网络中，完整的计算一遍。

2.图解BP算法

图5图解BP算法

我们依然使用如图5所示的简单的神经网络，其中所有参数的初始值如下：输入的样本为（假设其真实类标为“1”）：

第一层网络的参数为：

第二层网络的参数为：

第三层网络的参数为：

假设所有的激活函数均为Logistic函数：

。使用均方误差函数作为损失函数：

为了方便求导，我们将损失函数简为：

。

2.1前向传播

我们首先初始化神经网络的参数，计算第一层神经元：

上图中我们计算出了第一层隐藏层的第一个神经元的输入

和输出

，同理可以计算第二个和第三个神经元的输入和输出：

接下来是第二层隐藏层的计算，首先我们计算第二层的第一个神经元的输入

和输出

：

同样方法可以计算该层的第二个神经元的输入

和输出

：

最后计算输出层的输入

和输出

：

2.2误差反向传播

首先计算输出层的误差项

，我们的误差函数为

，由于该样本的类标为“1”，而预测值为0.997520293823002，因此误差为0.002479706176998，输出层的误差项为：

接着计算第二层隐藏层的误差项，根据误差项的计算公式有：

最后是计算第一层隐藏层的误差项：

2.3更新参数

上一小节中我们已经计算出了每一层的误差项，现在我们要利用每一层的误差项和梯度来更新每一层的参数，权重W和偏置b的更新公式如下：

通常权重W的更新会加上一个正则化项来避免过拟合，这里为了简化计算，我们省去了正则化项。上式中的

是学习率，我们设其值为0.1。参数更新的计算相对简单，每一层的计算方式都相同，因此本文仅演示第一层隐藏层的参数更新：

3.小结

至此，我们已经完整介绍了BP算法的原理，并使用具体的数值做了计算。在下篇中，我们将带着读者一起亲手实现一个BP神经网络（不适用任何第三方的深度学习框架），敬请期待！有任何疑问，欢迎加入我们一起交流！