专栏首页LhWorld哥陪你聊算法【TensorFlow篇】--反向传播

【TensorFlow篇】--反向传播

一、前述

反向自动求导是 TensorFlow 实现的方案,首先,它执行图的前向阶段,从输入到输出,去计算节点 值,然后是反向阶段,从输出到输入去计算所有的偏导。

二、具体

1、举例

图是第二个阶段,在第一个阶段中,从 x =3和 y =4开始去计算所有的节点值 f ( x / y )=x 2 * y + y + 2 求解的想法是逐渐的从图上往下,计算 f ( x , y )的偏导,使用每一个连续的节点,直到我们到达变量节 点,严重依赖链式求导法则!

2.具体过程:

 因为n7是输出节点,所以f=n7,所以?f/??7= 1

 让我们继续往下走到n5节点,?f/??5=?f/??7∗??7/??5 . 我们已知?f/??7=1,所以我们需要知道??7/??5 ,因为n7=n5+n6,所以我们求得??7/??5=1,所以?f/??5=1*1=1

 现在我们继续走到节点n4,?f/??4=?f/??5∗??5/??4,因为n5=n4*n2,我们求得�?5/??4=n2,?f/??4=1*4

 沿着图一路向下,我们可以计算出所有节点,就能计算出 ??/?x= 24,??/?y= 10

 那我们就可以利用和上面类似的方式方法去计算??/??

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 从0到1搭建spark集群---企业集群搭建

    今天分享一篇从0到1搭建Spark集群的步骤,企业中大家亦可以参照次集群搭建自己的Spark集群。

    LhWorld哥陪你聊算法
  • 【ElasticSearch篇】--ElasticSearch从初识到安装和应用

    ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口,在企业中全文搜索时,特...

    LhWorld哥陪你聊算法
  • 【Keras篇】---Keras初始,两种模型构造方法,利用keras实现手写数字体识别

    Keras 适合快速体验 ,keras的设计是把大量内部运算都隐藏了,用户始终可以用theano或tensorflow的语句来写扩展功能并和keras结合使用。

    LhWorld哥陪你聊算法
  • python的函数学习2

    名称的加载顺序是先加载内置名称空间,再加载全局名称空间,最后是局部名称空间,所以,如果在全局名称空间中使用局部名称空间,是错误的,因为根本就找不到。

    py3study
  • iOS使用VOIP与CallKit实现体验优质的网络通讯功能

        VOIP是Apple提供给开发者的网络电话功能接口。简单来说,其可以让你的应用程序在完全杀死的情况下被服务端唤醒。CallKit是iOS10引入的新框架...

    珲少
  • CS224W-6-message passing and node classification 第3部分

    循环信仰传播,Belief Propagation是一种动态编程方法,用于在图模型中解决条件概率查询的问题(没看明白)

    Houye
  • Gossip 协议详解

    Gossip protocol 也叫 Epidemic Protocol (流行病协议)。Gossip protocol在1987年8月由施乐-帕洛阿尔托研究中...

    江帅帅
  • 分布式架构——Gossip 协议详解

    Gossip protocol 也叫 Epidemic Protocol (流行病协议)。Gossip protocol在1987年8月由施乐-帕洛阿尔托研究中...

    孙玄@奈学教育
  • 【Vue原理】Diff - 源码版 之 相关辅助函数

    所以打算独立一篇文章,先预热一下,内容也不多,也挺简单,光看下也会对我们的思维有所帮助

    神仙朱
  • 程序员都该懂的 CAP 定理

    面对可能出现的网络延迟,不可预估的请求流量等情况,设计一个分布式系统,我们通常围绕系统高可用,数据一致性的目标去规划和实现,想要完全实现这个目标,却并非易事。由...

    闻人的技术博客

扫码关注云+社区

领取腾讯云代金券