每天十分钟机器学习之三十一：正则化λ值的选取

今天这一讲主要讲述正则化过程中λ值的选取，在我们训练模型的过程中，一般会使用一些正则化方法来防止过拟合。但是我们可能会面临正则化的程度太高或太小，即我们在选择λ的值时也需要考虑是否合适的问题。

在吴恩达老师的讲义中指出选择一系列的想要测试的λ值，通常是0-10之间的呈现2倍关系的值（如：0,0.01,0.02,0.04,0.08,0.15,0.32,0.64,1.28,2.56,5.12,10共12个）。 我们同样把数据分为训练集、交叉验证集和测试集。

选择λ的方法为：

1.使用训练集训练出12个不同程度正则化的模型

2.用12模型分别对交叉验证集计算的出交叉验证误差

3.选择得出交叉验证误差最小的模型

4.运用步骤3中选出模型对测试集计算得出推广误差，我们也可以同时将训练集和交叉验证集模型的代价函数误差与λ的值绘制在一张图表上：

当λ较小时，训练集误差较小（过拟合）而交叉验证集误差较大；

随着λ的增加，训练集误差不断增加（欠拟合），而交叉验证集误差则是先减小后增加；

祝您的机器学习之旅愉快！