当机器学习算法的容量适合于所执行任务的复杂度和所提供数据的数量时,算 法效果会最佳。容量不足的模型不能解决复杂任务。容量高的模型能够解决复杂的 任务,但是当其容量高于任务时,有可能会过拟合。...统计学习理论中最重要 的结论阐述了训练误差和泛化误差之间差异的上界随着模型容量增长而增长,但 随着训练样本增多而下降 (Vapnik and Chervonenkis, 1971; Vapnik, 1982...图 5.3: 容量和误差之间的典型关系。训练误差和测试误差表现得非常不同。在图的左端,训练误 差和泛化误差都非常高。这是欠拟合期 (underfitting regime)。...当我们增加容量时,训练误差减小, 但是训练误差和泛化误差之间的间距却不断扩大。...任何模型容量小于最优容量的固定参数模型会 渐近到大于贝叶斯误差的误差值。如图5.4所示。值得注意的是,具有最优容量的模 型仍然有可能在训练误差和泛化误差之间存在很大的差距。