机器学习中“正则化来防止过拟合”到底是一个什么原理？

假设我们考虑一个最简单的线性模型，我们比较两个估计结果：(1) 最小二乘估计(2) 岭估计其中(2)中的第二项即可看成一个正则项。那么我们如何说明加入了这个正则项后，相较于来说，确实避免了过拟合呢？因为从数学上可以证明，，注意这里的小于是严格的小于。这里的证明是要用到矩阵范数和向量范数的相容性。这个性质本身告诉了我们这样一个及其重要的本质：加入正则项后，估计出的（向量）参数的长度变短了（数学上称为shrinkage）。换句话说，长度变短了就意味着，向量中的某些分量在总体程度上比的分量变小了。极端来说，向量中的某些分量可能（因为也可能是因为每个分量都变小一点点最后造成整体长度变小）被压缩到了0。虽然这里其实还没有完整说明我们实现了避免过拟合，但至少从某种程度上说，加入正则项和的参数估计是符合我们之前的预定目标的，即用尽量少的变量去拟合数据。