L2正则化（L2 Regularization）

正则化其实就是给目标函数增加一个惩罚项，使得模型更倾向于使用更加简单的模型，以防止过拟合。

1. L2L_2正则化项的导出

正则化是机器学习中一个防止过拟合的一个重要手段通常，过拟合一个显著地表现是能够很好地拟合当前的数据，但是泛化能力不强。首先假设模型学到了多项式：

PS： L2 norm在回归问题中称作岭回归（Ridge Regression）或权值衰减（Weight-decay） L1 norm称作LASSO(Least Absolute Shrinkage and Selection Operator)

2. L1L_1正则化项和L2L_2正则化项

L1L_1正则化项和L2L_2正则化项都有助于降低过拟合的风险，但是L1L_1正则化项更适合作稀疏化，即得到更少的ww为非零的解。 正则化其实就是给目标函数增加一个惩罚项，使得模型更倾向于使用低维的模型，以防止过拟合。 一种贝叶斯角度理解正则，加了先验知识就相当于一种正则，可以做到防止过拟合（如我们抛硬币十次但只有一次正面，加了先验知识之后，如果使用贝叶斯估计的话，参数估计的结果会朝着先验的方向矫正，具体具体可参考Parameter estimation for text analysis. Gregor Heinrich.）：L1L_1正则化项为先验为拉普拉斯分布，L2L_2正则化项先验为高斯分布，将其分别取对数之后分别留下了绝对值项和平方项。领关于L1的稀疏性以及其它的一些问题，可见知乎问题l1 相比于 l2 为什么容易获得稀疏解？。

等等。。

特征选择通常有三种方法，即过滤式选择（Filter）、包裹式选择（Wrapper）和嵌入式选择（Embedded），而本文介绍的L1正则化和L2正则化是属于第三种，即在模型训练的时候同时做特征选择。

如有纰漏，欢迎指正。

参考资料： 1. 周志华《机器学习》ch. 11.4 2. 林轩田. 机器学习基石课程 Lecture 14