机器学习（五）--------正则化(Regularization)

过拟合(over-fitting)

欠拟合 正好 过拟合

怎么解决 1.丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一 些模型选择的算法来帮忙（例如 PCA） 2.正则化。 保留所有的特征，但是减少参数的大小（magnitude）

回归问题的模型是

是高次项导致了这个问题

我们决定要减少?3和?4的大小，我们要做的便是修改代价函数，在其中?3和?4 设置一点惩罚。

?又称为正则化参数（Regularization Parameter）。 取一个合理的 ? 的值，这样才能更好的应用正则化

正则化线性回归

正则化逻辑回归