嵌入式系统无批量归一化层的单位/权深卷积神经网络
原创嵌入式系统无批量归一化层的单位/权深卷积神经网络
原创
原文标题：Single-bit-per-weight deep convolutional neural networks without batch-normalization layers for embedded systems
摘要：批次归一化(BN)层被认为是当今最先进的深层卷积神经网络中的一种重要的层类型，用于计算机视觉任务的分类和检测。然而，BN层引入的复杂性和计算开销对于实时嵌入式视觉系统(如无人机、机器人和物联网(物联网)设备)的低功耗自定义硬件实现来说是非常不可取的。在培训过程中，当批处理的大小需要非常小时，它们也是有问题的，而且像最近引入的比BN层更多的残余连接可能会减少它们的影响。本文旨在量化BN层在图像分类网络中的优势，并与其他选择进行比较。特别是，我们研究了使用移位层而不是BN层的网络.我们发现，在应用于ImageNet、CIFAR 10和CIFAR 100图像分类数据集的宽残差网络实验之后，BN层并没有始终提供显著的优势。我们发现BN层提供的精度裕度取决于数据集、网络大小和权值的比特深度。我们的结论是，在BN层由于速度、内存或复杂成本而不受欢迎的情况下，应该考虑使用移位的-relu层；我们发现它们在所有这些方面都可以提供优势，而且通常不会带来很高的精度成本。
地址： https://arxiv.org/abs/1907.06916
作者： Mark D. McDonnell, Hesham Mostafa, Runchun Wang, Andre van Schaik
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。