问为什么在微调时必须冻结批处理归一化层的所有内部状态？

EN

在培训过程中，变批量统计作为一种正则化机制，可以提高泛化能力。这有助于最大限度地减少对大量迭代进行训练时的过度拟合。实际上，使用一个非常大的批处理大小会伤害到泛化，因为批处理统计数据的变化较小，减少了正则化。

当对新数据集进行微调时，如果精调示例具有与原始培训数据集中的示例不同的特性，则批处理统计信息可能会非常不同。因此，如果未冻结批处理规范化，网络将学习新的批规范化参数(分批规范化纸中的γ和beta )，这些参数与其他网络参数在最初的培训中所优化的参数不同。在微调期间，重新学习所有其他网络参数通常是不可取的，这要么是由于所需的培训时间，要么是微调数据集的大小较小。冻结批规范化可避免此问题。