NAS新突破，仅需半个 GPU day 即可训练出高性能架构！阿里提出 Zen-NAS

推荐一篇近期出来的NAS(神经架构搜索)论文：

Zen-NAS: A Zero-Shot NAS for High-Performance Deep Image Recognition

神经架构搜索（NAS）中的一个关键组件是一个精度预测器，可以保证被查询架构的精度。为了建立一个高质量的精度预测器，传统的 NAS 算法依赖于训练大量的架构或一个大的超网。这一步往往要消耗几百到几千天的 GPU，影响总的搜索成本。

本次工作就是为解决上述限制，作者提出一种新型模型复杂度指数：Zen-score 来代替 NAS 中的精度预测器。Zen-score 不是预测模型精度，而是直接确定网络的模型复杂度，并且不需要训练其参数。

基于 Zen-score，又开发一种新的 NAS 算法：Zen-NAS，用于大规模的进化架构搜索。

在半个 GPU day 内，Zen-NAS 自动设计的 ZenNets 在 ImageNet 上实现了高达 83.1% 的top-1 精度，与 EfficientNet-B5 的精度相当。在多个 GPU 平台和移动设备上，Zen-Net 的推理速度比相同或更高精度的 EfficientNets 快数倍。

ZenNAS 中最大的可搜索模型在上面是没有限制的，这也就意味着它可以在 1 个 GPU 日内轻松设计出比本作给出的网络（ZenNet-0.8ms）更大更好的网络。

图 6 中显示，ZenNet-0.8ms 的性能仍然没有饱和的迹象，作者没有探索更大的模型，因为ZenNet-0.8ms 的最终训练已经在 8 台 V100 GPU 工作站上需要一周的时间。换句话说，当使用 ZenNAS 设计高性能模型时，真正的瓶颈是最终建立的架构训练，而不是 ZenNAS 本身。这与传统的 NAS 方法截然不同，NAS 步骤是主要成本。

作者称 Zen-Net 是唯一一个在 ImageNet 上的 Top-1 准确率可以与 EfficientNet-B5 相媲美的网络，同时在 NVIDIA T4 GPU 上速度快 11 倍。