一文彻底搞懂BP算法:原理推导+数据演示+项目实战(上篇)

一文彻底搞懂BP算法:原理推导+数据演示+项目实战(上篇)

反向传播算法(BackpropagationAlgorithm,简称BP算法)是深度学习的重要思想基础,对于初学者来说也是必须要掌握的基础知识!本文希望以一个清晰的脉络和详细的说明,来让读者彻底明白BP算法的原理和计算过程。

全文分为上下两篇,上篇主要介绍BP算法的原理(即公式的推导),介绍完原理之后,我们会将一些具体的数据带入一个简单的三层神经网络中,去完整的体验一遍BP算法的计算过程;下篇是一个项目实战,我们将带着读者一起亲手实现一个BP神经网络(不适用任何第三方的深度学习框架)来解决一个具体的问题。

读者在学习的过程中,有任何的疑问,可以添加我们的公众号或是公众号中的交流群,和大家一起交流讨论!

1.BP算法的推导

图1一个简单的三层神经网络

图1所示是一个简单的三层(两个隐藏层,一个输出层)神经网络结构,假设我们使用这个神经网络来解决二分类问题,我们给这个网络一个输入样本

,通过前向运算得到输出

。输出值

的值域为

,例如

的值越接近0,代表该样本是“0”类的可能性越大,反之是“1”类的可能性大。

1.1前向传播的计算

为了便于理解后续的内容,我们需要先搞清楚前向传播的计算过程,以图1所示的内容为例:

输入的样本为:

第一层网络的参数为:

第二层网络的参数为:

第三层网络的参数为:

1.1.1第一层隐藏层的计算

图2计算第一层隐藏层

第一层隐藏层有三个神经元:

。该层的输入为:

神经元为例,则其输入为:

同理有:

假设我们选择函数

作为该层的激活函数(图1中的激活函数都标了一个下标,一般情况下,同一层的激活函数都是一样的,不同层可以选择不同的激活函数),那么该层的输出为:

1.1.2第二层隐藏层的计算

图3计算第二层隐藏层

第二层隐藏层有两个神经元:

。该层的输入为:

即第二层的输入是第一层的输出乘以第二层的权重,再加上第二层的偏置。因此得到

的输入分别为:

该层的输出分别为:

1.1.3输出层的计算

图4计算输出层

输出层只有一个神经元:

。该层的输入为:

即:

因为该网络要解决的是一个二分类问题,所以输出层的激活函数也可以使用一个Sigmoid型函数,神经网络最后的输出为:

1.2反向传播的计算

在1.1节里,我们已经了解了数据沿着神经网络前向传播的过程,这一节我们来介绍更重要的反向传播的计算过程。假设我们使用随机梯度下降的方式来学习神经网络的参数,损失函数定义为

,其中

是该样本的真实类标。使用梯度下降进行参数的学习,我们必须计算出损失函数关于神经网络中各层参数(权重w和偏置b)的偏导数。

假设我们要对第

层隐藏层的参数

求偏导数,即求

。假设

代表第

层神经元的输入,即

,其中

为前一层神经元的输出,则根据链式法则有:

因此,我们只需要计算偏导数

1.2.1计算偏导数

前面说过,第k层神经元的输入为:

,因此可以得到:计算偏导数

上式中,

代表第k层神经元的权重矩阵

的第m行,

代表第k层神经元的权重矩阵

的第m行中的第n列。

我们以1.1节中的简单神经网络为例,假设我们要计算第一层隐藏层的神经元关于权重矩阵的导数,则有:

1.2.2计算偏导数

因为偏置b是一个常数项,因此偏导数的计算也很简单:

依然以第一层隐藏层的神经元为例,则有:

1.2.3计算偏导数

偏导数

又称为误差项(errorterm,也称为“灵敏度”),一般用

表示,例如

是第一层神经元的误差项,其值的大小代表了第一层神经元对于最终总误差的影响大小。

根据第一节的前向计算,我们知道第

层的输入与第k层的输出之间的关系为:计算偏导数

又因为

,根据链式法则,我们可以得到

为:

由上式我们可以看到,第k层神经元的误差项

是由第

层的误差项乘以第

层的权重,再乘以第k层激活函数的导数(梯度)得到的。这就是误差的反向传播。

现在我们已经计算出了偏导数

,则

可分别表示为:

单纯的公式推导看起来有些枯燥,下面我们将实际的数据带入图1所示的神经网络中,完整的计算一遍。

2.图解BP算法

图5图解BP算法

我们依然使用如图5所示的简单的神经网络,其中所有参数的初始值如下:输入的样本为(假设其真实类标为“1”):

第一层网络的参数为:

第二层网络的参数为:

第三层网络的参数为:

假设所有的激活函数均为Logistic函数:

。使用均方误差函数作为损失函数:

为了方便求导,我们将损失函数简为:

2.1前向传播

我们首先初始化神经网络的参数,计算第一层神经元:

上图中我们计算出了第一层隐藏层的第一个神经元的输入

和输出

,同理可以计算第二个和第三个神经元的输入和输出:

接下来是第二层隐藏层的计算,首先我们计算第二层的第一个神经元的输入

和输出

同样方法可以计算该层的第二个神经元的输入

和输出

最后计算输出层的输入

和输出

2.2误差反向传播

首先计算输出层的误差项

,我们的误差函数为

,由于该样本的类标为“1”,而预测值为0.997520293823002,因此误差为0.002479706176998,输出层的误差项为:

接着计算第二层隐藏层的误差项,根据误差项的计算公式有:

最后是计算第一层隐藏层的误差项:

2.3更新参数

上一小节中我们已经计算出了每一层的误差项,现在我们要利用每一层的误差项和梯度来更新每一层的参数,权重W和偏置b的更新公式如下:

通常权重W的更新会加上一个正则化项来避免过拟合,这里为了简化计算,我们省去了正则化项。上式中的

是学习率,我们设其值为0.1。参数更新的计算相对简单,每一层的计算方式都相同,因此本文仅演示第一层隐藏层的参数更新:

3.小结

至此,我们已经完整介绍了BP算法的原理,并使用具体的数值做了计算。在下篇中,我们将带着读者一起亲手实现一个BP神经网络(不适用任何第三方的深度学习框架),敬请期待!有任何疑问,欢迎加入我们一起交流!

原文发布于微信公众号 - 磐创AI(xunixs)

原文发表时间:2018-03-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ml

读RCNN论文笔记

1. RCNN的模型(如下图)描述:              RCNN相比传统的物体检测,还是引入传统的物体检测的基本流程,先找出候选目标物体,逐个的提取特征...

3336
来自专栏深度学习思考者

机器学习中常见问题_几种梯度下降法

一、梯度下降法   在机器学习算法中,对于很多监督学习模型,需要对原始的模型构建损失函数,接下来便是通过优化算法对损失函数进行优化,以便寻找到最优的参数。在求解...

3268
来自专栏机器学习原理

深度学习——目标检测(1)什么是目标检测?RCNNRCNN的检测流程:Bounding-box回归

前言:深度学习在图像的应用中目标检测是最基本也是最常用的,下面介绍几种常见的目标检测算法或者模型

1752
来自专栏杂七杂八

matlab留出法实现

留出法(hold-out) 方法:直接将数据集D划分为两个互斥的集合,其中一个集合作为训练集S,另一个作为测试集T,即.在S上训练出模型后,用T来评估其作为测...

7129
来自专栏机器学习算法工程师

重磅|基于深度学习的目标检测综述(一)

作者:叶 虎 编辑:黄俊嘉 前 言 图像分类,检测及分割是计算机视觉领域的三大任务。图像分类模型(详情见[这里](https://medium.c...

8125
来自专栏量化投资与机器学习

深度学习Matlab工具箱代码注释之cnntrain.m

%%========================================================================= %...

2198
来自专栏机器学习养成记

k折交叉验证(R语言)

“ 机器学习中需要把数据分为训练集和测试集,因此如何划分训练集和测试集就成为影响模型效果的重要因素。本文介绍一种常用的划分最优训练集和测试集的方法——k折交叉验...

2.4K9
来自专栏SnailTyan

Deformable Convolutional Networks论文翻译——中文版

Deformable Convolutional Networks 摘要 卷积神经网络(CNN)由于其构建模块固定的几何结构天然地局限于建模几何变换。在这项工作...

2880
来自专栏marsggbo

[转载]对深度可分离卷积、分组卷积、扩张卷积、转置卷积(反卷积)的理解

在可分离卷积(separable convolution)中,通常将卷积操作拆分成多个步骤。而在神经网络中通常使用的就是深度可分离卷积(depthwise se...

3232
来自专栏Deep learning进阶路

深度学习论文笔记(七)---Deconvolution network-2016年(Learning Deconvolution Network for Semantic Segmentation )

深度学习论文笔记(七)---Deconvolution network Learning Deconvolution Network for Semantic...

1.6K0

扫码关注云+社区

领取腾讯云代金券