机器学习系列13：机器学习诊断法

在机器学习中，我们训练了一个模型，可能会发现这个模型得到的数据与实际数据偏差太大。这时，通常我们会在如下办法中选择去优化我们的算法。

• 得到更多的训练集；
• 减小特征的数目；
• 尝试去增加特征；
• 增加多项式；
• 增大 λ；
• 减小 λ。

以上这些步骤通常会花费你大量的时间，而且毫无目的地选择很可能会没有效果。

为了防止以上的事情发生，减少让你抓狂的几率，维护世界的和平，我们需要用到机器学习诊断法（Machine learning diagnostic）去决定如何优化我们的算法。

评估假设（Evaluating a Hypothesis）

我们在训练机器学习模型时，经常会遇到过拟合问题。但何时是过拟合呢？这就需要我们来发现，一种方法是通过画出函数图像，例如下面这幅图就能看出是一个过拟合。

事实上我们拟合的函数经常有很多个特征，导致函数图像很难画出，需要另一种方法——评估假设（Evaluating a Hypothesis）。具体怎么操作呢？我们一起来看一下。

我们拥有如下数据集，需要把这些数据集随机按 7:3 的比例划分为两类：训练集和测试集。训练集用来训练模型，测试集用来对模型的准确性进行评估。

对于线性回归来说，我们就用测试集的代价函数来评估。

对于逻辑回归这种分类问题，我们除了可以用测试集的代价函数去解决以外，还可以用测试误差来计算。

对于这个函数，我们可以这么理解。如果预测结果与原结果不一致，函数值就为 1，也就是出现误差；否则函数值为 0。最后求测试误差求平均值得到最终结果。

模型选择

对于机器学习，我们可能选择各种次数的多项式作为模型。但是如何确定多项式的次数才是一个令人头痛的问题。

我们用 d 来表示选择模型多项式的次数：

选择完成后，我们会先用数据集训练出参数集 θ，根据参数集 θ 计算出对应的代价函数，比较代价函数之后，选择一个最优的多项式作为模型。

这时候，我们的数据集就不能按照之前的原则进行划分了，要划分成 3 部分：训练集（60%）、交叉验证集（20%）和测试集（20%）。

首先我们通过训练集训练出参数集 θ，然后根据交叉验证集选择出最优的多项式模型，最后通过测试集去评估假设