假设你的产品是一个猫分类器,指定的指标是分类误差(classification error) .以下展示算法 A 和算法 B 的误差率.
从评价指标和开发集的角度来看,我们应该选择 A 模型,但是某种原因,A 算法会让更多的 Pron 图片通过识别.即是在这个指标中 A 算法看起来更好,但是在产品实际运用中,公司和用户更加青睐于 B 种方案.因为 B 方案没有 Pron 图片会通过. 在这个例子中我们发现,B 算法其实优于 A 算法,而评价指标没有发挥应有的作用.
有一个评估指标和开发集让你可以更快的作出决策,判断算法 A 还是算法 B 更优,这真的可以加速你和你的团队迭代的速度.所以即使你当前无法定义一个很完美的评估指标和开发集,你可以直接快速设立出来,然后使用它们来驱动你们的团队的迭代速度.在这之后,如果你发现选的不好,你有更好的想法,那么完全可以马上修改.对于大多数团队建议不要在没有评估指标和开发集时跑太久.因为这样会减慢你的团队的迭代和改善算法的速度.