超越 EfficientNet！小米AutoML 团队开源 Scarlet 模型！

8 月 19 日，小米 AI 实验室 AutoML 团队（论文作者：初祥祥、张勃、李吉祥、李庆源、许瑞军）再次展示最新成果 SCARLET，超过 Google Brain 首席科学家 Quoc Le 团队提出的 EfficientNet 同量级模型 （ICML 2019）。

论文：SCARLET-NAS: Bridging the gap Between Scalability and Fairness in Neural Architecture Search

论文提出了具备伸缩功能的自动化神经网络搜索，通过线性等价变换解决了 one-shot 路线中可伸缩超网训练公平性的问题。

本次发布的 SCARLET 系列是直接对标 EfficientNet，在 ImageNet 1k 分类任务中达到 76.9% 的 Top-1 精度，目前是 <390 M FLOPs 量级的 SOTA。

至此，小米 AutoML 团队打造了 FairNAS、MoGA、SCARLET 三部曲，分别超过 Google 顶级团队的 MnasNet、MobileNetV3、EfficientNet。

表 3 展示了与当前 SOTA 模型在 ImageNet 数据集上的对比

SCARLET 线性等价变换如下：

SCARLET在训练Supernet时利用Conv1x1(without Bias/ReLU) + Conv替代Identity + Conv，解决了训练伸缩网络时难以收敛的问题。

引入Conv1x1(without Bias/ReLU) + Conv是一种线性变换，与Identity + Conv等价，具体证明可以查阅论文。

SCARLET 模型结构如下：

论文地址：

https://arxiv.org/abs/1908.06022

模型地址：

https://github.com/xiaomi-automl/SCARLET-NAS

感兴趣的朋友可以查看小米AutoML团队论文列表：

• Chu et al., Multi-Objective Reinforced Evolution in Mobile Neural Architecture Search

https://arxiv.org/abs/1901.01074

• Chu et al., Fast, Accurate and Lightweight Super-Resolution with Neural Architecture Search

https://arxiv.org/abs/1901.07261

• Chu et al., FairNAS: Rethinking Evaluation Fairness of Weight Sharing Neural Architecture Search

https://arxiv.org/abs/1907.01845

• Chu et al., MoGA: Searching Beyond MobileNetV3

https://arxiv.org/abs/1908.01314

• Chu et al., ScarletNAS: Bridging the Gap Between Scalability and Fairness in Neural Architecture Search

https://arxiv.org/abs/1908.06022