12. 小结：建立开发集和测试集

• 从分布中选择开发集和测试集 ，它需要反映你将来的数据情况，并且它的效果足够好，这可能与训练的数据不在同一分布。

• 尽可能在同一分布选择你的开发集和测试集。

• 为你的团队选择一个单一数字的评估指标来进行优化。如果你关心多个指标，你可以把它们合并到一个指标中（例如：平均多个错误指标），或设定满足指标和优化指标。

• 机器学习是一个高度迭代的过：在发现你满意的结果之前需要尝试大量的idea。

• 开发/测试集和单一数字指标可以帮助你快速的评估算法，从而迭代的更快。

• 当开始一个全新的应用时，尝试快速建立开发/测试集和评估指标，最好在一周之内，当然，如果在成熟的机器学习应用上可以花费比这更长的时间。

• 当你拥有大量数据的时候，根据70% : 30%的比例划分训练/测试集这个经验可能不太适用；开发/测试集可以 占远小于30%的数量。

• 你的开发集应该足够大，足够检测到算法的改变，但没必要太大，只要达到你可以对你的系统整体性能有一个评估即可。

• 如果你的开发集和苹果指标没有引导你的团队往正确的方向走，请快速改变它们：

（1）如果在开发集上过拟合了，你可以去获取更多的数据

（2）如果你数据的实际分布和开发/测试集的分布不同，那么你需要去更新你的数据集

（3）如果你的评估指标不能在衡量对于你来说很重要的东西，请改变它