专栏首页desperate633小白也能看懂的BP反向传播算法之Into-BackpropagationBackpropagation待续

小白也能看懂的BP反向传播算法之Into-BackpropagationBackpropagation待续

本文相关代码可以从Backpropagation下载

在上一篇文章小白也能看懂的BP反向传播算法之Towards-Backpropagation,我们学习了如何利用函数的微分来更新变量值,是函数值发生相应的变化! 例如,对于函数

image.png

我们想要更新变量a,b的值使f的值增加,就可以根据以下公式来更新

image.png

实际上这就是反向传播的最基本的思想!我们试想假设f函数是一个代价函数,神经网络的训练就是将代价函数的值变小,那么就是问题就变成了,对于一个代价函数f,我们将改变f的变量,使其f能减小,而f不就是关于每个神经元权重和偏置的函数么,f = f(w,b)。只不过是代价函数的变量更多,函数形式更复杂,更新起来相对复杂,这个我们将在后面详细介绍!但其实反向传播的基本思想就是根据微分去更新!

接下来,我们就将问题慢慢复杂化,一步一步接近最终的神经网络中的反向传播!

前文中,我们利用的是一个神经元,这里我们讲问题变复杂,变成两个神经元,并且是有嵌套关系的两个神经元!如下图:

image.png

,将输入值相加然后输出到第二个神经元,同时第二个神经元还接受输入c,并将两个值相乘,最后输出! 这个简单网络的正向传播很容易写出来:

def product(x, y):
    return x * y


def addition(x, y):
    return x + y


def forward(a, b, c):
    d = addition(a, b)
    return product(d, c)


print(forward(5, -6, 7))

Our aim is still the same as was in last post viz;we want to manipulate the values of our inputs a,b,c in such a way that the value of output fincreases.

现在开始我们的训练吧! 目标和之前一样,就是改变输入的a,b,c三个值,使函数f的值增加!之后我们就会发现,在这个过程中,我们会慢慢接触到反向传播的核心思想! previous post.

初看上去,这个网络似乎比之前的要复杂,但依照我们前一篇文章提出的思路!我们先看函数f,函数f是一个关于输入a,b,c的函数,想要让函数f的值增加,直接微分即可,然后加上步长与微分的乘积,如下:

image.png

所以,核心问题在此就变成怎么求解函数f关于a,b,c的微分! 我们不能向之前一个神经元那样直接计算,因为此处的神经元是相互嵌套的。我们将函数f反着往回写! 首先,与函数f直接关联的神经元,就是接受两个输入,一个来自第一个神经元的,一个来自输入c,我们把第一个神经元的输出记作d,那么函数f就可以写成

image.png

然后我们继续反着往前推,对于d,其实就是第一个神经元的输出,也就是可以直接写成:

image.png

这样我们就反向的把函数f简化成了两个函数:

image.png

熟悉微积分的朋友应该就知道,我们在此可以利用函数求微分的链式法则。

首先考虑

image.png

分别求微分之后,如下:

image.png

然后再对

image.png

求微分

image.png

现在我们有四个微分的值:

image.png

我们的目标是求取这三个微分的值:

image.png

Backpropagation

这个时候,就轮到链式法则出场了! 链式法则其实就是:

image.png

如我们所见,链式法则有点代数的特点;因为莱布尼兹的导数符号表明两个分式中的du可以消掉,所以这个公式很好记忆。如果我们将导数看作变化率的话,直观上也很容易理解:

如果y的变化速度是u的a倍,u的变化速度是x的b倍,那么y的变化速度是x的ab倍。

或者用日常用语来说,如果车的速度是自行车的两倍,自行车的速度是步行的四倍,那么车的速度是步行的2⋅4=8倍。

所以此处我们对a,b应用链式法则,就能求取出微分:

image.png

image.png

所以最后求出微分就是:

image.png

根据以上求出的微分,我们就能很好的写出变量的更新规则:

image.png

我们用python实现上面的更新的过程:

def product(x, y):
    return x * y


def addition(x, y):
    return x + y


def forward(a, b, c):
    d = addition(a, b)
    return product(d, c)


print(forward(5, -6, 7))# output -7


def update(a, b, c):
    d = addition(a, b)
    h = 0.01

    derivative_f_d = c
    derivative_f_c = d
    derivative_d_a = 1
    derivative_d_b = 1

    derivative_f_a = derivative_f_d * derivative_d_a
    derivative_f_b = derivative_f_d * derivative_d_b

    a = a + h * derivative_f_a
    b = b + h * derivative_f_b
    c = c + h * derivative_f_c

    d = addition(a, b)
    return product(d, c)


print(update(5, -6, 7))# output -6.0113999999999965

可以看到更新之后的输出确实增大了!说明我们现在已经可以实现嵌套神经元的变量参数的更新了!离真正的反向传播的又近了一步!

Why did it work?

接下来,我们深入整个更新的过程,一步步分析看看究竟更新的本质是什么。首先,我们从输入到输出,分析一遍,前向传播,输入值为a=5,b=-6,c=7,很容易发现,第一个神经元的输出为d为1,然后第二个神经元输出为-7,所以最后结果就是-7!这就是此网络前向传播的过程!

然后我们开始反向传播,从输出开始分析,我们现在的目标是将输出的值增大,输出值是由-1*7得到的,现在要增加输出值,我们先不看微分,显然就是增加-1,减少7,这样就能使他们的乘积变大!我们再来计算微分,微分结果就是增加d的值,减少c的值。我们继续反向推理,这里d的值又是有a,b的值决定的!我们现在的目标又变成了 对于第一个神经元,减少输出值,那么很显然,只要减少a和b的值就行了,我们运用链式法则求取a,b的微分,也能得到相同的结果! 我们可以看到,当我们反向传播的时候,一个神经元的输入会变成上一个神经元的输出,然后他们之间相互影响,从而使传播下去!

我们倒着从输出分析到输入的过程就是反向传播的过程!我们通过计算微分可以从输出到输入更新变量的值,以使得输出朝着我们期待的方向的变化!

待续

本文就在这里结束了!本文将前文的更新变量的算法扩展到嵌套的多个神经元中,并应用到了链式法则求微分!而且在这个过程中,其实我们已经逐渐接触到反向传播的基本思想!

下一篇文章小白也能看懂的BP反向传播算法之Let's practice Backpropagation,我们会将算法应用到一个标准的神经网络中,让我们看看真正的反向传播算法是什么样的!

本文相关代码可以从Backpropagation下载

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • comsol快速入门教程

    我自己参照官网的教程,写了个比较通俗易懂的入门教程,字多图多慎看(大三的时候写的)。

    desperate633
  • 计算机网络的性能衡量指标速率带宽延迟/时延(delay或latency)时延带宽积分组丢失(丢包)吞吐量/率(Throughput)

    这是最常见的一个性能指标 “带宽” (bandwidth)原本指信号具有的频带宽度,即最高频率与最低频率之差,单位是赫兹(Hz) 网络的“带宽”通常是数字信...

    desperate633
  • Python爬虫之BeautifulSoup库的入门与使用Beautiful Soup库的理解Beautiful Soup库的引用BeautifulSoup类的基本元素BeautifulSoup解析实

    上篇文章中,Python爬虫之requests库网络爬取简单实战 我们学习了如何利用requets库快速获取页面的源代码信息。我们在具体的爬虫实践的时候,第一...

    desperate633
  • 大数据第二天 Hadoop3.2.1

    桥接模式 & service network start & ip addr & ping www.baidu.com

    weifangliuli
  • vue 组件

    用户5760343
  • 推荐一份ggplot2画图的学习资料

    这个和之前图文中 跟着Nature Couumincations学画图中的figure1很像。之前的figure1是借助基础绘图函数画了散点图和箱线图,然后将图...

    用户7010445
  • 体验产生于玩家的思想里

    王兵
  • Jenkins远程部署

    服务器之间如果已经配置了通过ssh无密码访问,有关于这一步的配置就结束了。如果没有配置,可以通过密码的方式进行访问,需要配置 密码 和 端口。点击高级:

    spilledyear
  • day74-<项目>-forms.ModelForm的使用

    少年包青菜
  • 如何获取Hive正在执行或已结束的SQL语句

    本文主要介绍两种方式来获取Hive正在执行或者已结束的的MapReduce作业的SQL语句,一种是通过MapReduce API获取执行作业的xml配置文件,另...

    hallelujah

扫码关注云+社区

领取腾讯云代金券