思考: “泛化”是任人打扮的小姑娘

官方定义

在周老师的《机器学习》一书 (P3) 中，泛化能力一词定义如下：

学得模型适用于新样本的能力，称为 “泛化”（generalization）能力。

同理，泛化误差的存在就是为了防止学习器把训练样本学得太好了，导致可能已经把训练样本自身的一些特点当做了所有潜在样本都会具有的一般性质。

缺陷

因为泛化性能是建立在 主观臆测 的沙雕之上，只是一种 对个人假想的“实际情况”的模拟 。因此，没有人能对 尚未出现的新样本 的 分布特点 做出保证正确的限定。

“泛化”是任人打扮的小姑娘

具体举例，比如有些解决不平衡样本的方法，是通过加大对量少类别样本的采样来提高模型的泛化性能的。 在测试样本中，如果 新样本的 分布特点 是 各类样本数量均衡，那么上述解决方法当然是行之有效的。 但是如果 新样本的 分布特点 符合马太效应而多者愈多呢？那么上述解决方法似乎就 与 新定义的“泛化” 背道而驰了。 反之亦然。

总结

一切真理都是有前提的。