用拉格朗日形式推导回传BackProp(一)

阅读LeCun的paper,A Theoretical Framework for Back-Propagation。

使用Lagrangian 形式来推导backprop。整理具体的推导细节如下。

k为神经网络的层Layer,p为feed进去的pattern,W为权重,B为Lagrange myltiplier.

1式为单个pattern的拉格朗日函数形式。第一项C为代价函数;第二项为约束,描述了network的结构。

当代价函数为输出误差的平方时,得2式。

3式拉格朗日函数表示所有pattern。

当约束条件满足时,约束项为零,就描述了前传forward propagation.在满足约束条件下,minimize代价函数,得到4式。

4式有三个变量W,X,B,分别求偏导,得到5、6、7式。

5式是对拉格朗日乘数求偏导。

6式对每个神经元的输出求偏导。

7式对连接神经元的权重求偏导。

注意:k和p都是running variables

k表示神经网络的层,sum k是计算所有层。p是指输入数据pattern,sum p指把所有输入的pattern对应值都加起来。

其实这里还可以加个i,表示k层的第i个神经元。

汇总求偏导结果

现在看还不明显,后面再进行变换会更明显看出Backprop的样貌,下回分解。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180620G23J4M00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券