旷视研究院提出一个灵活高效的权重生成网络框架,称为WeightNet。
作为一种通用形式,WeightNet将SENet与CondConv这两种很不一样却都非常有效的方法纳入到同一框架中。WeightNet通过在注意力激活层上添加一层分组全连接层(group fully-connected layer)从而实现了对这两种方案的统一。
WeightNet可以直接输出卷积权重,同时在kernel空间(而非特征空间)上训练起来既简单,内存消耗又少。凭借其灵活性,该方法在ImageNet和COCO的检测任务上均能取得更好的准确率-FLOPs权衡和准确率-参数量权衡。
END