BatchNorm层与神经网络量化

深度学习能够解决许多复杂的问题，如今逐渐广泛运用。深度学习的网络往往比较深，要占用大量的存储空间与计算资源，因此为了使其能用于小型设备之中，需要对模型进行压缩。这个演讲则围绕着对激活层（activation）参数的量化进行。演讲者是斯坦福大学的Elaina Chai，师从Boris Murmann。

Chai从过去的研究开始，讲述了量化参数的难度，过去多年的研究研究出的量化方法存在不是量化误差极大，就是量化效果不好的问题。而Batch Norm的发现，提升了网络训练收敛的速度，也无意中改变了参数的结构，使得参数分布更为集中，降低参数数据占据的位深，使得数据得到归一化，从而使得参数更加容易被量化，并且给出了大量的数据分析。

随后，Chai从多年的LMS（learning management system）的研究成果进行总结分析，讲述Batch Norm层的出现为LMS带来了改变，归一化的数据帮助网络更好地收敛，同时BN的引入也降低了网络对小噪声（也包括量化噪声）的敏感程度。