原文标题:Single-bit-per-weight deep convolutional neural networks without batch-normalization layers for embedded systems
摘要:批次归一化(BN)层被认为是当今最先进的深层卷积神经网络中的一种重要的层类型,用于计算机视觉任务的分类和检测。然而,BN层引入的复杂性和计算开销对于实时嵌入式视觉系统(如无人机、机器人和物联网(物联网)设备)的低功耗自定义硬件实现来说是非常不可取的。在培训过程中,当批处理的大小需要非常小时,它们也是有问题的,而且像最近引入的比BN层更多的残余连接可能会减少它们的影响。本文旨在量化BN层在图像分类网络中的优势,并与其他选择进行比较。特别是,我们研究了使用移位层而不是BN层的网络.我们发现,在应用于ImageNet、CIFAR 10和CIFAR 100图像分类数据集的宽残差网络实验之后,BN层并没有始终提供显著的优势。我们发现BN层提供的精度裕度取决于数据集、网络大小和权值的比特深度。我们的结论是,在BN层由于速度、内存或复杂成本而不受欢迎的情况下,应该考虑使用移位的-relu层;我们发现它们在所有这些方面都可以提供优势,而且通常不会带来很高的精度成本。
地址: https://arxiv.org/abs/1907.06916
作者: Mark D. McDonnell, Hesham Mostafa, Runchun Wang, Andre van Schaik
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。