神经网络架构搜索——可微分搜索（P-DARTS）
神经网络架构搜索——可微分搜索（P-DARTS）
华为发表在 ICCV 2019上的NAS文章，致力于解决在
proxy训练与target测试的模型 depth gap 问题。
- Paper: Progressive Differentiable Architecture Search:Bridging the Depth Gap between Search and Evaluation
- Code: https://github.com/chenxin061/pdarts
动机
渐进式Cell搜索架构
如上图所示，在DARTS中，搜索时候是以 8 cells with 50 epochs 来进行的，而evaluate时却以 20 cells，这bias造成了精度大幅度下降；而 P-DARTS 以渐进的方式 5 cells, 11 cells, 17 cells 分别 25 epochs 来进行，这样更能接近evaluate时的情况，故性能也更好。
方法
OK，你可能会问，为什么不直接以20 cells 来进行搜索呢？好问题，理论上应该是可行的，就是太耗memory且容易网络架构过拟合；那17 cells也很深，memory够吗？这也是好问题，P-DARTS其实就是在解决这个问题：
P-DARTS原理图
如上图所示，
(a) cells=5时，每个node间有5个candidate，当训练好了25 epochs后，会有对应的softmax置信度。
(b) 接着进行 cells=11的搜索，虽然深度加了一倍多，但这时每个node间operation candidate将会减少接近一半，即把(a)中最后置信度较低的operation直接delete掉。
(c) 同样的流程，最后进行 cells=17的搜索，再砍掉置信度低的一半opeartion。通过这样的方式来tradeoff depth及memory。
实验结果
CIFAR-10
CIFAR-10结果
ImageNet
ImageNet结果
参考
[1] Xin Chen, Lingxi Xie, Jun Wu, Qi Tian, Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation, ICCV, 2019.
[2] https://zhuanlan.zhihu.com/p/73740783