深度学习网络架构搜索（NAS）最新必读论文分享

在过去的很多年深度学习在视觉、语音等方面都已经取得了巨大的成功，其中一个很大的原因就是出现了很多新颖的网络结构——ResNet、MobileNet、ShuffleNet等。随着网络结构越来越复杂，人工设计网络的试错成本和时间成本会难以承受。

超参数的自动搜索优化是一个古老的话题了。深度学习兴起前它主要针对传统机器学习算法中的模型超参数，比较经典的方法有随机搜索（Random search）, 网格搜索（Grid search），贝叶斯优化（Bayesian optimization），强化学习（Reinforcement learning）, 进化算法（Evolutionary Algorithm）等，统称为Hyperparameter optimization（HO）。像Auto-sklearn和Auto-WEKA都是比较有名的HO框架。

  对于深度学习说，超参数主要可为两类：一类是训练参数（如learning rate，batch size，weight decay等）；另一类是定义网络结构的参数（比如有几层，每层是啥算子，卷积中的filter size等），它具有维度高，离散且相互依赖等特点。前者的自动调优仍是HO的范畴，而后者的自动调优一般称为网络架构搜索（Neural Architecture Search，NAS）。这些年来大热的深度神经网络，虽然将以前很另人头疼的特征提取自动化了，但网络结构的设计很大程度上还是需要人肉，且依赖经验。每年各AI顶会上一大批论文就是在提出各种新的更优的网络子结构。一个自然的诉求就是这个工作能否交给机器来做。

本文整理了深度学习神经网络结构搜索（NAS）领域相关的论文列表，同时为其中一些广受关注的论文提供导读，以帮助大家更有效的开展NAS相关研究工作。

资源整理自网络，源地址：

https://github.com/jackguagua/awesome-nas-papers/blob/master/README_cn.md