问批处理规范化如何使模型对超参数调优不那么敏感？

EN

正规化不是批量规范化的主要目标。批量规范化的主要目标是加速学习。正则化是批量归一化的一个副作用，它不能代替掉。

当规范化输入改善学习时，将聚集的输入归一化到隐藏层中神经元的激活功能也会改善学习。更详细的这里，然后是这里。

如果在批处理培训期间，将聚合的输入规范化为批的隐藏激活，而不是针对整个数据集，则聚合输入的平均偏差和标准差对于每个批将有所不同。这将增加噪音的培训，并使网络减少依赖较小的细节的投入分配。

然而，正规化的效果取决于批次的大小。对于较大的批次大小，它是较低的，并低于辍学的影响，即完全关闭一些神经元的训练步骤，因此它可能无法取代辍学。更多细节这里。