23. 处理偏差和方差

23. 处理偏差和方差

以下是处理偏差和方差问题最简单的公式: • 如果具有较高的可避免偏差，那么增加模型的大小（如：增加神经网络的隐藏层或者神经元） • 如果是高方差，那么增加训练集。 如果你可以增加神经网络的大小，并且可以无限制的增加数据集，那么你可以在很多机器学习问题上都做得很好。 在实践中，增加神经网络的大小会导致你遇到计算上的问题，因为神经网络规模越大，训练的就越慢了，你也许会竭尽全力去寻找训练集，但是网络上的猫咪图片是有限的。 不同的神经网络架构对于你的问题将会有不同的偏差和方差。最近很多深度学习研究者已经开发出了很多新的神经网络架构。所以，如果你在使用神经网络的时候，学术文献是一个很不错的灵感来源。Github上也有很多很好的开源实现。但是尝试新的神经网络架构的结果要比增加神经网络架构和增加数据集更难预测。 增加模型的大小可以减少偏差，但也可能会增加偏差和方差过拟合的风险。然而，这种过拟合问题通常只会在你没有进行正则化的时候出现，如果你使用了一个非常好的正则化方法，那么你通常可以安全的增加模型大小，也不会增加过拟合的风险。 假设你正在使用深度学习，有L2正则化和dropout，有在开发集上表现最好的正则化参数。如果你增加模型的大小，通常你的表现会保持不变或提升的不太明显。避免使用更大的模型的原因就是为了避免太大的计算代价。