专栏首页深度学习与数据挖掘实战【机器学习理论】为什么L1稀疏,L2平滑?

【机器学习理论】为什么L1稀疏,L2平滑?

使用机器学习方法解决实际问题时,我们通常要用L1或L2范数做正则化(regularization),从而限制权值大小,减少过拟合风险。特别是在使用梯度下降来做目标函数优化时,很常见的说法是, L1正则化产生稀疏的权值, L2正则化产生平滑的权值。为什么会这样?这里面的本质原因是什么呢?下面我们从两个角度来解释这个问题。

  • 角度一:数学公式

这个角度从权值的更新公式来看权值的收敛结果。

首先来看看L1和L2的梯度(导数的反方向):

所以(不失一般性,我们假定:wi等于不为0的某个正的浮点数,学习速率η 为0.5):

L1的权值更新公式为wi =wi – η * 1 = wi – 0.5 * 1,也就是说权值每次更新都固定减少一个特定的值(比如0.5),那么经过若干次迭代之后,权值就有可能减少到0。

L2的权值更新公式为wi =wi – η * wi = wi – 0.5 * wi,也就是说权值每次都等于上一次的1/2,那么,虽然权值不断变小,但是因为每次都等于上一次的一半,所以很快会收敛到较小的值但不为0。

下面的图很直观的说明了这个变化趋势:

L1能产生等于0的权值,即能够剔除某些特征在模型中的作用(特征选择),即产生稀疏的效果。

L2可以得迅速得到比较小的权值,但是难以收敛到0,所以产生的不是稀疏而是平滑的效果。

  • 角度二:几何空间

这个角度从几何位置关系来看权值的取值情况。

直接来看下面这张图:

高维我们无法想象,简化到2维的情形,如上图所示。其中,左边是L1图示,右边是L2图示,左边的方形线上是L1中w1/w2取值区间,右边得圆形线上是L2中w1/w2的取值区间,绿色的圆圈表示w1/w2取不同值时整个正则化项的值的等高线(凸函数),从等高线和w1/w2取值区间的交点可以看到,L1中两个权值倾向于一个较大另一个为0,L2中两个权值倾向于均为非零的较小数。这也就是L1稀疏,L2平滑的效果。

本文分享自微信公众号 - 深度学习与数据挖掘实战(www_datageekers_com)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-07-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 码农晋升为技术管理者后,痛并快乐着的纠结内心

    有一个非常有趣的现象:据说大部分的技术管理者,在其从程序员转为管理岗位的时候,都是在领导或公司的要求下,被动的推到管理岗位上的,并非是自己当初有强烈意愿、主动去...

    黄泽杰
  • ikbc G87&104 双子座 使用说明书

    黒之染
  • 从象棋到太极,领悟学习之道(一)

    前言里,大致的介绍了一下维茨金的经历,从象棋到太极,在任何人看起来都是两个完全不同的领域,那他又是如何做到在不同的领域里都可以取得骄人的成绩呢?维茨金自己总结到...

    韩东吉
  • 我要开始写作了

    今天是2017年6月30日,这一年已经过半了,而在这半年中我有对生活,对工作有无数强烈的想法充斥于自己的脑海中,有一些想法灵感我会随手去记录,我时常发一些朋友圈...

    叫我龙总
  • 从象棋到太极,领悟学习之道(二)

    维茨金在书中说到,第一点就是要树立一个正确的学习观念,第二点就是要划小圈,听起来可能比较奇怪,什么是划小圈呢?又该如何理解呢?

    韩东吉
  • 从象棋到太极,领悟学习之道(三)

    前俩节讲述了学习要“树正观”,“划小圈”。那最后的一小节,就来讲述下学习之道的第三点,也是最后一点,建组块。

    韩东吉
  • 到底要不要去培训机构学习?

    你花了很短的时间就能去上手一门行业,虽然你花了一些钱,但是你节省了大量的时间和精力,找到了高薪的工作,然后很快就可以把这个款项还上了。

    叫我龙总
  • liferay-portlet-container

    portlet是portal中最常用的组件了,所以也来山寨一个70版本的portlet container的UI吧。

    littlelyon
  • 方法论

    比如一个产品负责人做起事来毫无章法,产品方向随意乱打,这样产品没有方法论,有的是大大的短板,也很难在专业上有长足的进步,项目也往往无疾而终,浪费了团队的粮草子弹...

    春哥大魔王
  • 因为产品意见不合打架?想多了!

    我发现爆料人非常会炒作,本来就是两个人抢微波炉引起的冲突吧,结果说成程序员与产品经理因为产品意见不合而引起的冲突!

    叫我龙总

扫码关注云+社区

领取腾讯云代金券