L1正则化的理解(l1和l2正则化代表什么意思)

大家好，又见面了，我是你们的朋友全栈君。

在论文中看到L1正则化，可以实现降维，加大稀疏程度，菜鸟不太懂来直观理解学习一下。 在工程优化中也学习过惩罚函数这部分的内容，具体给忘记了。而正则化正是在损失函数后面加一个额外的惩罚项，一般就是L1正则化和L2正则化。之所以叫惩罚项就是为了对损失函数（也就是工程优化里面的目标函数）的某个或些参数进行限制，从而减少计算量。

在这里插入图片描述

L1正则化的损失函数是

F(x)=f(x)+\lambda\left | x \right |_1

是不光滑的， L2正则化的损失函数

F(x)=f(x)+\lambda\left | x \right |_2^2

是光滑的。 从下图理解更加直观：

在这里插入图片描述

左图为L1正则化，若考虑二维的情况，即只有两个权值 w 1 , w 2   \ w^1,w^2\, w1,w2,令L1正则化的修正项为L = ∣ w 1 ∣ + ∣ w 2 ∣   \ |w^1|+|w^2|\, ∣w1∣+∣w2∣的约束条件下（图中的黑色框）求原损失函数的最小值（图中的等值线），可以看出，当等值线与L图形首次相交的地方就是最优解，上图中在上方顶点处相交，这个顶点就是最优解，这其中可以看出 w 1   \ w^1\, w1 = 0，从而就达到了减少参数产生稀疏模型，进而可以用于特征选择。 同理右图为L2正则化的过程，可以想到L2正则化中磨去了棱角，例如在图中相交的那一点，此时两个参数都不为零，所以L2正则化不具有稀疏性。

参考： https://blog.csdn.net/jinping_shi/article/details/52433975 https://blog.csdn.net/qq_32742009/article/details/81629210

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/128144.html原文链接：https://javaforall.cn