深入理解L1,L2正则化

概念

正则化(Regularization) 是机器学习中对原始损失函数引入额外信息，以便防止过拟合和提高模型泛化性能的一类方法的统称。正则化是在经验风险上面加了一个正则化项或者惩罚项,正则化函数一般是模型法则度的单调增函数,模型越负责,正则化值就越大.

正则化的一般形式:

第一项是经验风险,第二项就是正则化项,

为调整两者之间的关系.

L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓惩罚是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。

线性回归L1正则化损失函数：

线性回归L2正则化损失函数：

可以看到正则化项是对系数做了限制。L1正则化和L2正则化的说明如下:

• L1正则化是指权值向量w中各个元素的绝对值之和，通常表示为

• L2正则化是指权值向量w中各个元素的平方和然后再求平方根（可以看到Ridge回归的L2正则化项有平方符号），通常表示为

• 一般都会在正则化项之前添加一个系数λ。

未完待续....