机器学习算法这样求偏导,更不容易掉陷阱

01 多变量求导

机器学习的算法,求导再所难免,下面以某个算法的其中一小块为例,总结一个多变量求导简单且不易出错的方法,整个推导过程非常详细。

02 符号说明

L(w,b,alfa),它是w,b,alfa的函数,

其中,

设 w 向量维度是 m,

alfa 的维度是 m (特征个数),

样本(X,Y)的第一维度代表样本个数,设为n; 第二维度是w的维度, m

b是标量

03 目标函数

04 多变量求导

1) 对w求导

因为 w 是向量,先对其第一个分量 w1 求导,这样求导更好理解。先对等式右侧第一项求导,过程如下:

再对等式右侧第二项求导,过程如下,注意领会为什么最后得到一个和,这也是先拿 w1 求导的原因之一,不容易出错。

再对 wi 求导,形式都是一样的:

2) 对b求导

有了上面基础,对b求导就比较简单,一步OK.

05 总结

相信以上求导过程,大家都已看明白。这个目标函数正是支持向量机(SVM)的目标函数,也就是说,你掌握了SVM整个公式推导的第一步,并且为日后研究打下基础。

用心血凝聚文章,不走捷径,如不反感可否支持下, 这样我会更加坚定初心,更有勇气在这条"与别人不一样"的艰辛原创之路上一直走下去 …

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180811G0VFJG00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券