L0、L1、L2范数在机器学习中的应用

正则化在机器学习中经常出现，但是我们常常知其然不知其所以然，今天将从正则化对模型的限制、正则化与贝叶斯先验的关系和结构风险最小化三个角度出发，谈谈L1、L2范数被使用作正则化项的原因。

  首先我们先从数学的角度出发，看看L0、L1、L2范数的定义，然后再分别从三个方面展开介绍。

L0范数指向量中非零元素的个数 L1范数：向量中每个元素绝对值的和

L2范数：向量元素绝对值的平方和再开平方

应用一：约束模型的特性

1.1 L2正则化——让模型变得简单

例如我们给下图的点建立一个模型：

我们可以直接建立线性模型：