TensorFlow从0到1 | 第十章:NN基本功:反向传播的推导

上一篇 9 “驱魔”之反传大法 引出了反向传播算法,强调了其在神经网络中的决定性地位,并在最后窥探了算法的全貌。本篇将详细的讨论算法各方面的细节。尽管我们都能猜到它会被TF封装,但是仍强烈建议把它作为人工神经网络的基本功,理解并掌握它,回报巨大。

《Neural Network and Deep Learning》的作者Nielsen写道:

It actually gives us detailed insights into how changing the weights and biases changes the overall behaviour of the network. That's well worth studying in detail.

实际上它(反向传播算法)给了我们更加细致的洞察:如何通过改变权重和偏置来改变网络的整体行为。非常值得深入的学习。

好在这里面最困难的——推导反向传播四大公式,也并非看上去那么难:keep calm and use chain rule(链式求导法则)。

chain rule

先说前馈

为了能说清楚“反向传播”(Backpropagation),得先从“前馈”(Feedforward)说起。

到目前为止讨论的神经网络,都是以上一层的输出,作为下一层的输入,其中没有回路。也就是说网络中的信息总是从输入层向输出层传播,不存在反馈(Feedback)。这样的网络就是前馈神经网络

对于前馈神经网络,当确定了网络的层数,每层神经元的个数,以及神经元的激活函数,那么给定输入,通过“层层前馈”就能计算输出。用ajl来表示第l层中第j个神经元的输出,那么输出的表达式为:

a<sub>j</sub><sup>l</sup>

上式是l层第j个单个神经元的输出表达式,如果用矩阵来表示某一层所有神经元的输出的话,形式会更加的简单和优美:

a<sup>l</sup>

上式表示了l层神经元的输出与输入(也就是上一层神经元的输出)之间的关系。

为了对上式的矩阵操作看的更加清晰,仍用之前的3层感知器网络举例。

3层感知器

简单回顾下矩阵的乘法的行列约束:Alm·Bmn=Cln,即一个l行m列的矩阵A与一个m行n列的矩阵B相乘,那么结果矩阵C是l行n列。

套用al的公式,计算a2(第二层输出):

a<sup>2</sup>

等价的微观视角:

a<sup>2</sup>的计算

有了前馈表达式,就可以计算出网络各层的输出al,乃至最终的输出aL(L代表网络的总层数)。这样,当前模型的损失函数也能计算出来了,仍以均方差(MSE)作为损失函数:

B-O-F-2 损失函数

用aL(x)代替下式中的output(x),有:

B-N-F-7 损失函数

其中对于单个独立样本Cx来说,有:

B-N-F-8 单个样本的损失函数

从上式的形式上来看,也可以把损失Cx看成神经网络输出aL的函数。

什么在反向传播?

前面介绍了信息的前馈,也明说了信息没有“反向回馈”。那么当我们在说反向传播时,我们在说什么?

答案是“神经元的误差”,“误差”在反向传播。对于第l层的第j个神经元,神经元误差的定义是:

B-N-F-9 误差

实际上你可以把它当成一个纯粹的形式定义,从其表达式可以看出:某个神经元的误差是损失函数C对于该神经元带权输入z的偏导数,其中带权输入z就是神经元激活函数的输入:

B-N-F-10 带权输入

之所以误差会沿着网络反方向传播,主要是基于对反向传播第2个公式的(BP2)的发现、观察和理解。BP2显示:被定义为神经元误差的δl,是由比它更靠近输出层神经元的误差δl+1决定的。基于这个数学推导过程中的发现,人们才获得了误差是反向传播的这个宝贵认知。

再次列出反向传播4大公式:

BP1

BP2

BP3

BP4

此时再回看BP1,就会意识到BP1与BP2配合之强大了:只要通过BP1计算出输出层的δL,那么就可以通过BP2“层层反传”,计算出任意一层的δl。而损失函数C对于wl和bl的偏导数也就可以通过BP3和BP4得到了。

推导前的两个准备

Hadamard乘积

在BP1与BP2中都用到了一个符号“⊙”,它连接两个矩阵完全相同的矩阵,表示Hadamard(哈达玛)乘积。它的运算规则非常的简单(仅次于矩阵加减法),就是两矩阵的对应元素相乘。一个例子:

Hadamard乘积

链式求导法则

多变量链式求导法则,来源:khanacademy.org

BP1推导

BP1的另一种表达方式是分量表达式,对其进行推导。

BP1

对δjl的定义,运用链式求导法则:

推导BP1:1

只有当k=j时,ak=jL才与zjL有关系(ajL = σ(zjL))。k≠j时,∂akL/∂zjL就消失了:

推导BP1:2

因为ajL = σ(zjL),上式中∂ajL/∂zjL可以写为σ'(zjL),即推导出BP1:

BP1

BP1给出了计算δjl的方法,计算起来比看上去要简单的多。把δjl的计算拆分成左右两个部分:∂C/∂ajL和σ'(zjL)。

如果我们使用均方差作为损失函数C,那么单个样本的情况下有:

B-N-F-8 单个样本的损失函数

所以∂C/∂ajL = (aj - yj)。

如果σ是sigmoid函数,有σ'(x) = σ(x) * (1 - σ(x))(可自行证明)。那么σ'(zjL) = σ(zjL) * (1 - σ(zjL)),其中zjL是通过前馈计算获得的。

BP2推导

对BP2的分量表达式进行推导:

BP2

BP2会稍微复杂一点。要想办法将δkl+1 = ∂C/∂zkl+1引入,仍然应用链式求导法则:

推导BP2:1

为了求∂zkl+1/∂zjl,根据定义有:

推导BP2:2

代入∂zkl+1/∂zjl,得到

推导BP2:3

再将上式代回[推导BP2:1],即推导出BP2:

BP2

BP3推导

BP3是求取损失C对于偏置b的偏导数,性质非常好,居然就是δjl本身:

BP3

利用链式求导法则,引入∂C/∂zjl:

推导BP3:1

因为有:

推导BP3:2

推导BP3:3

即推出BP3:

BP3

BP4推导

BP4是求取损失C对于偏置w的偏导数:

BP4

利用链式求导法则,引入∂C/∂zjl:

推导BP4:1

推导BP4:2

推导BP4:3

即推出BP4:

BP4

如果没有反向传播算法

之前提到,由于神经网络的权重参数过多,通过解偏导数方程来得到梯度是不现实的。那么在反向传播算法被应用之前,难道就真的没有任何办法吗?答案是有的,利用导数的定义即可:

导数定义

wj表示第j个权重,对于wj上一个非常小的增量,通过网络的层层传递,最终会导致的损失函数的变化。在上式中,对wj求导,可以近似成等式右边的形式。对于偏置求导也是同理。

这个算法并不复杂,易懂易实现。看似比反向传播四大公式简单很多。

接下来我们算下计算量的帐,就不那么美好了。假设整个网络中有30000个权重(现实中非常小巧的网络),那么对于每一个样本,要得到“损失”对所有30000个参数的偏导,就要进行30001次前向传播计算(多出的1次零头是求初始的C(w))。这是因为对每个权重求偏导,都需要获得当前的“损失”,而“损失”是由网络最后一层输出决定的。

对于海量的训练样本,以及现实中更加庞大的网络结构,计算量就是天文数字了。

反观反向传播算法,尽管其公式刚开始看上去有些凌乱(其实看久了是十分具有美感的),但是对于每一个样本,一趟前向传播,再加一趟反向传播,30000个权重就可以全部计算出来了。这才让大规模的网络训练具有了现实意义。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-08-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

1 条评论
登录 后参与评论

相关文章

来自专栏灯塔大数据

塔荐 | 神经网络训练方法详解

前言 本文详细描述了动量法等当前十分流行的学习算法。此外,本系列将在后面介绍 Adam 和遗传算法等其它重要的神经网络训练方法。 I. 简介 本文是作者关于如何...

3198
来自专栏机器之心

解读 | 如何从信号分析角度理解卷积神经网络的复杂机制?

机器之心原创 作者:Qintong Wu 参与:Jane W 随着复杂和高效的神经网络架构的出现,卷积神经网络(CNN)的性能已经优于传统的数字图像处理方法,如...

2688
来自专栏机器之心

最全的DNN概述论文:详解前馈、卷积和循环神经网络技术

选自arXiv 机器之心编译 本论文技术性地介绍了三种最常见的神经网络:前馈神经网络、卷积神经网络和循环神经网络。且该文详细介绍了每一种网络的基本构建块,其包括...

2986
来自专栏机器学习算法全栈工程师

深度神经网络训练的必知技巧

作者:章华燕 编辑:李文臣 本文主要介绍8种实现细节的技巧或tricks:数据增广、图像预处理、网络初始化、训练过程中的技巧、激活函数的选择、不同正则化方法、来...

4647
来自专栏深度学习

神经网络性能调优方案

神经网络性能调优主要方法 (1)数据增广 (2)图像预处理 (3)网络初始化 (4)训练过程中的技巧 (5)激活函数的选择 (6)不同正则化方法 (...

3368
来自专栏UAI人工智能

轻松读论文——层规范化技术 Layer Normalisation

1593
来自专栏AI研习社

教你用Keras做图像识别!只会图像检测并不强力

AI 研习社按:今天为大家带来硅谷深度学习网红 Siraj 的一则教学视频:如何从零开始构建一个图像分类器来对猫和狗进行分类。(内心OS:终于要开始图像部分了!...

3637
来自专栏计算机视觉

图像风格转移Automatic Photo Adjustment Using Deep Neural Networks

P图技术日新月异,有些P图大神的作品,让我们驻足相忘~嗷嗷,如何使用神经网络对这些大神的P图风格进行学习,我们这篇论文就提出了下面的方法。我认为这篇文章能很好的...

35611
来自专栏李智的专栏

斯坦福CS231n - CNN for Visual Recognition(2)-lecture3(上)线性分类器、损失函数

  由于之前KNN分类器的缺点,让我们很自然地去寻找有更加强大地方法去完成图像分类任务,这种方法主要有两部分组成: 评分函数(score function)...

761
来自专栏SIGAI学习与实践平台

用一句话总结常用的机器学习算法

浓缩就是精华。想要把书写厚很容易,想要写薄却非常难。现在已经有这么多经典的机器学习算法,如果能抓住它们的核心本质,无论是对于理解还是对于记忆都有很大的帮助,还能...

1499

扫码关注云+社区