用拉格朗日形式推导回传BackProp(二)

为了简化上面的公式,更容易理解回传backprop,做如下两个变换。

用Ap(k)表示权重W和输入X两个矩阵相乘,用Yp(k)表示nabla梯度和拉格朗日乘数的乘积。

简化7式和6式的两个子式如上图。

7式为拉格朗日代价函数对权重求偏导,即在梯度下降过程中权重更新如下图

lambda为学习率learning rate。

整理对三个变量求偏微分的结果如下:

第一个等式为前传,权重和输入作用的结果作为激活函数的输入,而激活函数的输出又作为下一层的输入。

第二个等式为回传,等式右边的权重和Y都是k+1和k层的梯度左右可得k层的Y,由此根据k层的Y和k层的权重以及k-1层的梯度可得k-1层的Y,依次向最初输入层传递,故为回传。

第三个为权重的更新,这是代价函数对权重求偏导的结果,代价函数必须一阶可导

由于神经网络层是有限的,故需加上下面两个边界条件。

第一个式子表示Xp(0)为最初的输入层。

第二个式子表示最后一层即第N层是不能再输出到下一层的,此时需要和desirable data即监督学习中label value做比较,求误差。

  • 发表于:
  • 原文链接:https://kuaibao.qq.com/s/20180621G1UWSO00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券