CS229 课程笔记：机器学习的实用建议

口仆

发布于 2020-08-14 16:03:11

6260

发布于 2020-08-14 16:03:11

文章被收录于专栏：用户2133719的专栏

1 调试学习算法

对于一个学习算法，有着各种各样的调试手段，不同的调试手段可以解决不同的问题，需要根据实际情况进行选择。学习算法的问题大致可以分为两类：「高偏差/方差」问题以及「算法优化」问题。

1.1 高偏差/方差问题

我们先来进一步了解「方差与偏差的权衡问题」。以线性回归为例，我们通过计算测试集的最小二乘误差（MSE）来评价模型的好坏：

\mathbb{E}_{(x,y)\sim\text{test set}}|\hat f(x)-y|^2

如果 MSE 过大，一般可以从以下三个方面进行解释：

「过拟合」：模型与训练集过度相关导致难以推广至其他样本
「欠拟合」：模型没有获取训练集的足够信息导致难以捕捉输入与输出之间的联系
「单纯噪声」：测试数据中噪声过大（数据本身存在误差）

假定训练集与测试集中的数据符合同一分布：

y_i = f(x_i)+ \epsilon_i, \quad\text{where the noise}\;\epsilon_i\;\text{satisifies}\; \mathbb{E}(\epsilon_i)=0,\;\text{Var}(\epsilon_i)=\sigma^2

对于测试集中的每个样本

，我们对于

y_j = f(x_j)+ \epsilon_j

的预测为

\hat{f}(x_j)

。现在我们可以通过如下公式计算 MSE（

\hat{f}

可以看做关于训练集的随机变量函数）：

\begin{align*} \text{Test MSE}&= \mathbb{E}\left((y-\hat{f}(x))^2\right) \\ & = \mathbb{E}\left((\epsilon + f(x) -\hat{f}(x))^2\right) \\ &= \mathbb{E}(\epsilon)^2 + \mathbb{E}\left((f(x)-\hat{f}(x))^2\right) \\ &= \sigma^2 + \left(\mathbb{E}(f(x)-\hat{f}(x))\right)^2 + \text{Var}\left(f(x)-\hat{f}(x)\right) \\ &= \sigma^2 + \left(\text{Bias}\;\hat{f}(x)\right)^2 + \text{Var}\left(\hat{f}(x)\right) \end{align*}

推导过程利用了

\text{Var}(x) = \mathbb{E}(x^2) - (\mathbb{E}(x))^2

。公式中的第一项为误差项，我们无法预测；公式中的第二项为偏差项，表示平均来看，

\hat{f}

没有正确预测

，对应为「欠拟合」；公式中的第三项为方差项，表示

\hat{f}

过于接近训练集的输出导致在测试集上偏差较大，对应为「过拟合」。

大部分情况下，减少方差或偏差中的一项意味着增加另一项，因此我们需要考虑好两者之间的权衡。以贝叶斯逻辑回归为例，出现高偏差或高方差的可能解决措施有：

「尝试更多的特征」（解决高偏差）
「尝试更少的特征」（解决高方差）
「使用更大的训练集」（解决高方差）

1.2 算法优化问题

学习算法的另一个常见问题是算法是否收敛。对于这个问题，我们可以考虑如下方式进行调试：假定 SVM 比贝叶斯逻辑回归（BLR）更好，但是你仍然希望采用贝叶斯逻辑回归，令

\theta_{\text{SVM}}

表示 SVM 学习得到的参数，

\theta_{\text{BLR}}

表示 BLR 学习得到的参数。我们使用「加权准确率」来评估算法的好坏：

a(\theta) = \max_\theta \sum_i w^{(i)} 1\{h_{\theta}(x^{(i)})=y^{(i)}\}

因为 SVM 的表现优于 BLR，所以

a(\theta_{\text{SVM}}) > a(\theta_{\text{BLR}})

。而 BLR 尝试去最大化（即代价函数）：

J(\theta) = \sum_{i=1}^m \log p(y^{(i)}|x^{(i)}, \theta) - \lambda ||\theta||^2

我们可以比较

J(\theta_{\text{SVM}})

和

J(\theta_{\text{BLR}})

的大小

如果

J(\theta_{\text{SVM}}) > J(\theta_{\text{BLR}})

，那么说明

\theta_{\text{BLR}}

并没有最大化

，问题出在「算法优化」上

如果

J(\theta_{\text{SVM}}) \le J(\theta_{\text{BLR}})

，那么说明

\theta_{\text{BLR}}

成功地最大化了

，但 SVM 的表现却更好，这表示问题出在「目标函数」上

以贝叶斯逻辑回归为例，出现算法优化问题时的可能解决措施有：

「提高梯度下降的迭代次数」（解决算法的优化）
「尝试牛顿方法」（解决算法的优化）
「使用不同的

\lambda

的值」（解决优化目标的选择）

「尝试 SVM」（解决优化目标的选择）

2 误差分析

对于一个学习问题来说，通常是由一条流水线组成的，如果发生了误差，我们需要找到哪一部分导致了这一误差。下面通过一个面部识别流水线来介绍误差分析的方法，如下图所示：

该算法可以分为如下几个步骤：

从相机照片中获得输入
预处理图像，去除背景
检测脸部的位置
检测眼睛-检测鼻子-检测嘴巴
通过逻辑回归进行预测

我们可以通过将每一部分的输出替换为完美的结果，来观察哪一部分对结果的准确率贡献最大，如下表所示：

Component	Accuracy
Overall system	85%
Preprocess (remove background)	85.1%
Face detection	91%
Eyes segmentation	95%
Nose segmentation	96%
Mouth segmentation	97%
Logistic regression	100%

可以看出，对于面部识别流水线，去除背景的影响并不是很大，而面部识别与眼睛识别对准确率的贡献最大。除了帮助改善算法，误差分析在撰写论文时也很有帮助，它可以用于解释算法的哪一部分应该被提升。

2.1 消融分析

误差分析尝试去解释算法当前的表现与完美表现的差别，而「消融分析」（Ablative analysis）尝试去解释一些基线表现（通常表现更差）与当前表现的差别。

以垃圾邮件分类器为例，你通过在逻辑回归中加入了以下这些有趣的特征获得了不错的结果：

Spelling correction
Sender host features
Email header features
Email text parser features
Javascript parser
Features from embedded images

我们可以通过消融分析了解究竟是哪些特征提升了算法性能。消融分析的方法是从最佳表现出发，逐步去除这些特征，观察算法的准确率变化，如下表所示：

Component	Accuracy
Overall system	99.9%
Spelling correction	99.0%
Sender host features	98.9%
Email header features	98.9%
Email text parser features	95%
Javascript parser	94.5%
Features from embedded images	94.0%