开发集和测试集应该多大？

7 开发集和测试集应该多大？

开发集应该足够大，大到可以检测出不同算法之间的差异。比如：如果分类器A的精度为90.0%，分类器B精度为90.1%。如果你的开发集只有100条，那么你可能检测不出这0.1%的差异，与其它机器学习的问题相比，100条数据很小，常见的开发集数据规模在1000到10000条之间。数据量越高，模型之间的差异越明显。[2]

对于一些成熟的重要应用来说（如：广告推荐，网页推荐，产品推荐等）。我经常看到团队在为0.01%的性能提升而奋斗，因为这直接影响到了公司的利润。在这种情况下，开发集的数据量可能远远超过10000条，只为了对算法进行改进。

测试集要多大？它也应该足够大，大到你有一个很高自信度去对系统的整体性能进行评估。这里有一个方法：将30%的数据用于测试。在你拥有一个中等（100到10000个样本）数据量的情况下，它的效果不错。但是在大数据的时代下，我们面对的机器学习问题数据量可能会超过10亿条样本，开发集与测试集之间的比例一直在减小，但是开发与测试集的绝对数量在增加。在给开发集和数据集分配时，没必要过多的进行分配。

[2] 理论上，如果一个算法的变化差异符合统计学上的某种变化，那么我们可以进行测试。在实践中，大多数团队都会这样做（除非它们发表论文）。而我没有发现用于统计意义上的测试。