在机器学习中,我们通常将样本分成训练集,验证集和测试集三部分,数据 集规模相对较小,适用传统的划分比例,数据集规模较大的,验证集和测试集要小于数据总 量的 20%或 10%。
reference:https://zhuanlan.zhihu.com/p/35394638
如果我们的模型太简单并且参数很少,那么它可能具有高偏差和低方差。另一方面,如果我们的模型具有大量参数,那么它将具有高方差和低偏差。因此,我们需要找到正确/良好的平衡,而不会过度拟合和欠拟合数据。 真实值y与预测值f(X)之间的关键词,e数据本身的噪音带来的 为误差项,符合均值为0的正态分布。
我们引入均方误差,最优化均方误差即可找到方差和偏差的最优平衡点:
为了建立一个好的模型,我们需要在偏差和方差之间找到一个很好的平衡点,以便最大限度地减少总误差。
reference: Understanding the Bias-Variance Tradeoff 谈谈 Bias-Variance Tradeoff
通过扩增训练数据来解决过拟合,但扩增数 据代价高,而且有时候我们无法扩增数据,但我们可以通过添加这类图片来增加训练集。例 如,水平翻转图片,并把它添加到训练集。
训练神经网络,其中一个加速训练的方法就是归一化输入。归一化需要两个步骤: 1.零均值;2.归一化方差。