二值网络训练--Training Competitive Binary Neural Networks from Scratch

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://cloud.tencent.com/developer/article/1436891

Training Competitive Binary Neural Networks from Scratch

https://github.com/hpi-xnor/BMXNet-v2 MXNet framework

本文主要讨论了从零开始训练二值网络的一些情况以及 ResNet 和 DenseNet 二值网络的一些情况

这里采用符号函数进行二值化

二值梯度如何求导反向传播

Straight-Through Estimator (STE)

approxsign： a tighter approximation

applying scaling when training a model from scratch does not lead to better accuracy

使用缩放因子 不能提升精度，training a model from scratch

increasing number of connections is highly effective and size-efficient for a binary DenseNet

增加网络的 shortcut 数量可以有效提升网络的性能

replacing certain crucial layers in a binary network with full precision layers

这里我们认为 第一层，最后一层，以及 downsampling layers 比较重要，尝试使用 full precision 而不做二值化处理

11