Dynamic Network Surgery for Efficient DNNs
Dynamic Network Surgery for Efficient DNNs
NIPS 2016 http://arxiv.org/abs/1608.04493
code: https://github.com/yiwenguo/Dynamic-Network-Surgery
本文提出一种动态压缩CNN网络模型算法。针对 LeNet-5 和 AlexNet 可以分别减少 108倍和 17.7倍的参数，而且不损失精度。
本文主要参考了文献【9】，文献【9】通过删除一些不重要的参数达到不损失精度的压缩CNN模型的效果。但是参数的重要性随着网络的变化而变化，所以导致了文献【9】有两个问题：1）有可能把重要的联系删除，导致精度下降，因为一旦删除就难以恢复。2）训练很费时间。
本文提出了 pruning 和 splicing 来解决文献【9】的问题。其中 splicing 主要是来解决删除重要的连接，就是把已经删除的重要连接恢复回来。
本文的流程和文献【9】的流程对比：
3 Dynamic Network Surgery
动态网络外科手术的示意图如下所示：
这里我们用 W_k 表示CNN网络参数矩阵， 二值矩阵 T_k 表示 W_k 对应的项是否被删除。
由于在删除一些网络的连接，会导致网络其他连接的重要性发生改变，所以通过优化最小损失函数来训练删除后的网络比较合适。 优化问题表达如下：
参数迭代如下：
算法流程如下：
3.3 Parameter Importance 其中用于表示网络连接的重要性 h 函数定义如下：
3.4 Convergence Acceleration 为了加快训练速度，我们采用以下两个策略： 1）减少删除连接的概率，因为删除连接导致网络发生变化，导致训练难以收敛 2）卷积层和全链接层分开删裁连接，类似于文献【9】
4 Experimental Results
