TensorFlow从0到1 | 第十章:NN基本功:反向传播的推导

上一篇 9 “驱魔”之反传大法 引出了反向传播算法,强调了其在神经网络中的决定性地位,并在最后窥探了算法的全貌。本篇将详细的讨论算法各方面的细节。尽管我们都能猜到它会被TF封装,但是仍强烈建议把它作为人工神经网络的基本功,理解并掌握它,回报巨大。

《Neural Network and Deep Learning》的作者Nielsen写道:

It actually gives us detailed insights into how changing the weights and biases changes the overall behaviour of the network. That's well worth studying in detail.

实际上它(反向传播算法)给了我们更加细致的洞察:如何通过改变权重和偏置来改变网络的整体行为。非常值得深入的学习。

好在这里面最困难的——推导反向传播四大公式,也并非看上去那么难:keep calm and use chain rule(链式求导法则)。

chain rule

先说前馈

为了能说清楚“反向传播”(Backpropagation),得先从“前馈”(Feedforward)说起。

到目前为止讨论的神经网络,都是以上一层的输出,作为下一层的输入,其中没有回路。也就是说网络中的信息总是从输入层向输出层传播,不存在反馈(Feedback)。这样的网络就是前馈神经网络

对于前馈神经网络,当确定了网络的层数,每层神经元的个数,以及神经元的激活函数,那么给定输入,通过“层层前馈”就能计算输出。用ajl来表示第l层中第j个神经元的输出,那么输出的表达式为:

a<sub>j</sub><sup>l</sup>

上式是l层第j个单个神经元的输出表达式,如果用矩阵来表示某一层所有神经元的输出的话,形式会更加的简单和优美:

a<sup>l</sup>

上式表示了l层神经元的输出与输入(也就是上一层神经元的输出)之间的关系。

为了对上式的矩阵操作看的更加清晰,仍用之前的3层感知器网络举例。

3层感知器

简单回顾下矩阵的乘法的行列约束:Alm·Bmn=Cln,即一个l行m列的矩阵A与一个m行n列的矩阵B相乘,那么结果矩阵C是l行n列。

套用al的公式,计算a2(第二层输出):

a<sup>2</sup>

等价的微观视角:

a<sup>2</sup>的计算

有了前馈表达式,就可以计算出网络各层的输出al,乃至最终的输出aL(L代表网络的总层数)。这样,当前模型的损失函数也能计算出来了,仍以均方差(MSE)作为损失函数:

B-O-F-2 损失函数

用aL(x)代替下式中的output(x),有:

B-N-F-7 损失函数

其中对于单个独立样本Cx来说,有:

B-N-F-8 单个样本的损失函数

从上式的形式上来看,也可以把损失Cx看成神经网络输出aL的函数。

什么在反向传播?

前面介绍了信息的前馈,也明说了信息没有“反向回馈”。那么当我们在说反向传播时,我们在说什么?

答案是“神经元的误差”,“误差”在反向传播。对于第l层的第j个神经元,神经元误差的定义是:

B-N-F-9 误差

实际上你可以把它当成一个纯粹的形式定义,从其表达式可以看出:某个神经元的误差是损失函数C对于该神经元带权输入z的偏导数,其中带权输入z就是神经元激活函数的输入:

B-N-F-10 带权输入

之所以误差会沿着网络反方向传播,主要是基于对反向传播第2个公式的(BP2)的发现、观察和理解。BP2显示:被定义为神经元误差的δl,是由比它更靠近输出层神经元的误差δl+1决定的。基于这个数学推导过程中的发现,人们才获得了误差是反向传播的这个宝贵认知。

再次列出反向传播4大公式:

BP1

BP2

BP3

BP4

此时再回看BP1,就会意识到BP1与BP2配合之强大了:只要通过BP1计算出输出层的δL,那么就可以通过BP2“层层反传”,计算出任意一层的δl。而损失函数C对于wl和bl的偏导数也就可以通过BP3和BP4得到了。

推导前的两个准备

Hadamard乘积

在BP1与BP2中都用到了一个符号“⊙”,它连接两个矩阵完全相同的矩阵,表示Hadamard(哈达玛)乘积。它的运算规则非常的简单(仅次于矩阵加减法),就是两矩阵的对应元素相乘。一个例子:

Hadamard乘积

链式求导法则

多变量链式求导法则,来源:khanacademy.org

BP1推导

BP1的另一种表达方式是分量表达式,对其进行推导。

BP1

对δjl的定义,运用链式求导法则:

推导BP1:1

只有当k=j时,ak=jL才与zjL有关系(ajL = σ(zjL))。k≠j时,∂akL/∂zjL就消失了:

推导BP1:2

因为ajL = σ(zjL),上式中∂ajL/∂zjL可以写为σ'(zjL),即推导出BP1:

BP1

BP1给出了计算δjl的方法,计算起来比看上去要简单的多。把δjl的计算拆分成左右两个部分:∂C/∂ajL和σ'(zjL)。

如果我们使用均方差作为损失函数C,那么单个样本的情况下有:

B-N-F-8 单个样本的损失函数

所以∂C/∂ajL = (aj - yj)。

如果σ是sigmoid函数,有σ'(x) = σ(x) * (1 - σ(x))(可自行证明)。那么σ'(zjL) = σ(zjL) * (1 - σ(zjL)),其中zjL是通过前馈计算获得的。

BP2推导

对BP2的分量表达式进行推导:

BP2

BP2会稍微复杂一点。要想办法将δkl+1 = ∂C/∂zkl+1引入,仍然应用链式求导法则:

推导BP2:1

为了求∂zkl+1/∂zjl,根据定义有:

推导BP2:2

代入∂zkl+1/∂zjl,得到

推导BP2:3

再将上式代回[推导BP2:1],即推导出BP2:

BP2

BP3推导

BP3是求取损失C对于偏置b的偏导数,性质非常好,居然就是δjl本身:

BP3

利用链式求导法则,引入∂C/∂zjl:

推导BP3:1

因为有:

推导BP3:2

推导BP3:3

即推出BP3:

BP3

BP4推导

BP4是求取损失C对于偏置w的偏导数:

BP4

利用链式求导法则,引入∂C/∂zjl:

推导BP4:1

推导BP4:2

推导BP4:3

即推出BP4:

BP4

如果没有反向传播算法

之前提到,由于神经网络的权重参数过多,通过解偏导数方程来得到梯度是不现实的。那么在反向传播算法被应用之前,难道就真的没有任何办法吗?答案是有的,利用导数的定义即可:

导数定义

wj表示第j个权重,对于wj上一个非常小的增量,通过网络的层层传递,最终会导致的损失函数的变化。在上式中,对wj求导,可以近似成等式右边的形式。对于偏置求导也是同理。

这个算法并不复杂,易懂易实现。看似比反向传播四大公式简单很多。

接下来我们算下计算量的帐,就不那么美好了。假设整个网络中有30000个权重(现实中非常小巧的网络),那么对于每一个样本,要得到“损失”对所有30000个参数的偏导,就要进行30001次前向传播计算(多出的1次零头是求初始的C(w))。这是因为对每个权重求偏导,都需要获得当前的“损失”,而“损失”是由网络最后一层输出决定的。

对于海量的训练样本,以及现实中更加庞大的网络结构,计算量就是天文数字了。

反观反向传播算法,尽管其公式刚开始看上去有些凌乱(其实看久了是十分具有美感的),但是对于每一个样本,一趟前向传播,再加一趟反向传播,30000个权重就可以全部计算出来了。这才让大规模的网络训练具有了现实意义。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-08-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

1 条评论
登录 后参与评论

相关文章

来自专栏机器之心

盘点 | 对比图像分类五大方法:KNN、SVM、BPNN、CNN和迁移学习

选自Medium 机器之心编译 参与:蒋思源、黄小天、吴攀 图像分类是人工智能领域的基本研究主题之一,研究者也已经开发了大量用于图像分类的算法。近日,Shiyu...

4798
来自专栏AI研习社

MIT 6.S094· 深度学习 | 学霸的课程笔记,我们都替你整理好了

计算机视觉,到目前为止都是深度学习。并且大部分成功理解图片含义的案例都是使用神经网络。

992
来自专栏华章科技

给初学者的深度学习简介

深度学习是计算机领域中目前非常火的话题,不仅在学术界有很多论文,在业界也有很多实际运用。本篇博客主要介绍了三种基本的深度学习的架构,并对深度学习的原理作了简单的...

963
来自专栏IT派

CNN入门再介绍

导语:学习深度神经网络方面的算法已经有一段时间了,对目前比较经典的模型也有了一些了解。这种曾经一度低迷的方法现在已经吸引了很多领域的目光,在几年前仅仅存在于研究...

3554
来自专栏大数据挖掘DT机器学习

机器学习算法之K-means特征学习

自从Deep Learning之风盛起之时到现在,江湖上诞生了很多都可以从无标签数据中学习到深度的分级的特征的算法。大部分情况,这些算法都涉及到一个...

3725
来自专栏人工智能LeadAI

卷积神经网络看见了什么

这是众多卷积神经网络可视化方法之一,方法来自于论文《Learning Deep Features for Discriminative Localization...

1061
来自专栏大数据挖掘DT机器学习

Deep Learning论文笔记之K-means特征学习

自从Deep Learning之风盛起之时到现在,江湖上诞生了很多都可以从无标签数据中学习到深度的分级的特征的算法。大部分情况,这些算法都涉及到一个...

3417
来自专栏机器之心

学界 | 利用人脸图片准确识别年龄:上海大学研究者提出「深度回归森林」

2406
来自专栏目标检测和深度学习

MIT 6.S094· 深度学习 | 学霸的课程笔记,我们都替你整理好了

计算机视觉,到目前为止都是深度学习。并且大部分成功理解图片含义的案例都是使用神经网络。

925
来自专栏数据分析

[机器学习]-[数据预处理]-中心化 缩放 KNN(一)

据预处理是总称,涵盖了数据分析师使用它将数据转处理成想要的数据的一系列操作。例如,对某个网站进行分析的时候,可能会去掉 html 标签,空格,缩进以及提取相关关...

3745

扫描关注云+社区