深度学习模型如何缩小到可以放到微处理器呢?...作为炼丹师,模型变的越来越复杂,模型大小也不断增加.在工业场景下光训练数据就有几百T,训练就要多机多卡并行跑数天.到底如何把这些模型部署在小型嵌入式设备的呢?...要理解我们如何缩小模型,就要先理解模型文件如何被压缩.如下图所示,一个常见的DNN模型由神经元和它们之间的连接构成,模型的大小主要就是由这些weights构成.一个简单的CNN都有上百万的参数,我们知道训练的时候...Compression or Distillation
模型训练完成后,如何在准确率可接受的情况下压缩模型,最常见的方式就是剪枝和蒸馏....Training(QAT) 这个方式是在模型训练过程中使用量化,如下图所示,该方法会带来噪声也会影响loss,所以学到的模型更加鲁棒.