个人原创：浅谈「正则化项」是如何防止过拟合的？

昨天推送一篇关于正则化是如何发生或出现的，错过的朋友可点击阅读：

浅谈一种最严重的过拟合

今天有读者问我正则化是如何解决过拟合问题的，下面说一下我对此问题的浅见。

如果模型复杂度是权重的函数，则特征权重的绝对值越高，对模型复杂度的贡献就越大。

先使用

正则化来量化复杂度，正则化项定义为所有特征权重的平方和：

不难理解，接近于 0 的权重对模型复杂度几乎没有影响，而离群值权重(取值相对更大的

)则可能会产生更大的影响。

例如，以最简单的线性模型为例，它具有以下权重：

W1 = 0.2
W2 = 1.5
W3 = 5

正则化项的

权重和

容易计算，过程如下：

正则化项权重和：

对比

正则化前后，

权重贡献值的变化。

正则化前：

正则化后：

结论：正则化后

的权重贡献更大了，换句话说，模型更加依赖权重参数

，相对的，其他参数变得更不重要。

总结：以上便是正则化解决过拟合的一种直观认识，通过这个案例，希望大家对正则化如何解决过拟合有进一步认识。