专栏首页人工智能前沿讲习SFFAI分享 | 方杰民:Recent Advances and Highlights of NAS【附PPT与视频资料】

SFFAI分享 | 方杰民:Recent Advances and Highlights of NAS【附PPT与视频资料】

作者简介


方杰民,华中科技大学电子信息与通信学院媒体与通信实验室研究生在读,师从王兴刚副教授,地平线平台与技术部算法实习生,主要研究方向为网络结构搜索、模型结构优化。

导读


近年来网络结构搜索(NAS)在自动化设计神经网络结构方面获得了较大的成功,也成为模型结构优化领域不可忽视的重要研究课题。NAS不仅减轻了人们设计、调优模型结构的重重负担,而且相较于人工设计的网络结构,NAS搜索出的模型性能有了进一步提升。最近NAS取得了巨大的进展,搜索代价从最初的万级GPU hours降低到和普通训练模型同等水平,NAS的算法更能在优化精度的同时提高模型速度,NAS的应用也从分类向分割、检测等领域进一步扩展。本次报告介绍、讨论了最近NAS的一些进展和闪光点,并分享我们在NAS领域所做的相关工作。主要内容包括:

  1. NAS算法的发展与创新
  2. NAS的加速方法
  3. 搜索空间的探索和进展

神经网络结构搜索(NAS)简介


从2012年的AlexNet到近两年的MobileNet,神经网络结构一直在不断发展和演变,从网络结构发展的流程可以看出网络结构的设计对最终性能的表现起到至关重要的作用。然而人工设计神经网络结构往往需要花费较多的精力和大量的尝试,并且对于模型结构方面工程师的经验有较高的需求,从而网络结构搜索(NAS)应运而生。NAS即为自动化调优、搜索神经网络结构的方法。NAS在一方面能够推进模型结构性能的进一步提升,另一方面减轻了人们调优模型结构的负担。

NAS中最基础的三个概念包括Search Space(搜索空间)、Search Strategy(搜索策略)和Performance Estimation Strategy(性能评估策略)。其中,搜索空间用来定义结构生成的规则,即NAS的方法会涵盖到哪些形式的结构。主流的几种搜索策略包括基于增强学习(RL)、进化算法(EA)以及梯度更新(gradient-based)的算法。在搜索过程中,需要设定合适的性能评估策略来降低搜索代价。常见的策略包括降低保真度(如使用低分辨率的输入图片、大数据集的子集、训练较少epoch等)、训练曲线或性能预测、参数共享、基于one-shot模型搜索等。

NAS重要方法及发展


最初的NAS方法基于RL或EA算法取得了较好的效果,但是搜索代价极大,高大万级的GPU hours,通常需要成百上千的GPU来驱动NAS算法。随后有很多方法在NAS减轻代价以及加速上做出了贡献,如ENAS的参数共享、基于one-shot模型的搜索以及PNAS的渐进式搜索等等。本报告就DARTS、MnasNet和ProxylessNAS三个有代表性的工作介绍了NAS最近的发展。

DARTS与之前的各类NAS算法不同在于,基于RL或EA的搜索算法对网络结构的处理均在离散空间中进行,这使得整个搜索、优化过程的计算代价巨大。DARTS首次提出将搜索空间映射为连续可微的表示,整个搜索过程直接通过梯度下降和反向传播来进行结构的优化。DARTS在保持结构性能的条件下极大减少了搜索代价,后续一系列优秀的gradient-based NAS工作也均基于DARTS的思路。

MnasNet的两大创新点被后续NAS工作广泛采纳,在NAS领域也具有重要作用。第一,Mnas提出直接在搜索过程中优化目标硬件上网络结构的latency,通过多目标优化的方法基于RL取得了优秀的结果。第二,Mnas提出基于MobileNet的级联block的搜索空间,摒弃了之前基于Cell拓扑结构复杂的搜索空间,Mnas的搜索空间在latency上更为友好,并在精度上也有很大的优势,该搜索空间被后来工作广泛应用。

ProxylessNAS还是以减少搜索代价为出发点,对NAS算法进行改进。虽然Differentiable NAS的方法可以极大缩短搜索时间,但是由于其搜索空间由一个连续可微超大网络的表示,传统的Differentiable NAS方法需要占用较多的GPU显存。ProxylessNAS的方法在于优化super network的参数每次只通过一条或部分路径,从而极大减少了显存占用。该工作还针对硬件优化结构,获得了非常优秀的结果。

我们的工作进展


EAT-NAS

EAT-NAS: Elastic Architecture Transfer for Accelerating Large-scale Neural Architecture Search

论文链接:https://arxiv.org/abs/1901.05884

EAT-NAS旨在解决 NAS在大规模数据集上进行搜索的加速问题。以往的很多方法为了避免直接在ImageNet 128万张图的大规模数据上直接搜索的巨大代价,间接的在CIFAR-10上进行搜索。通常CIFAR-10上搜索得到的模型结构不加调整或者是人为手动调整,而直接被迁移到ImageNet上,这种做法使得结构不能更好的适应新的数据集,效果上会存在偏差。EAT-NAS提出了一种网络结构层面迁移的方法:EAT-NAS基于EA算法,首先在小数据集上搜索得到一个较优的模型结构,以该模型结构作为种子,初始化大数据集上搜索的新模型种群,并继续进行搜索。EAT-NAS通过网络结构迁移的方法在保证性能的同时,极大的加速了大数据集上网络结构的搜索过程。

DenseNAS

Densely Connected Search Space for More Flexible Neural Architecture Search

论文:https://arxiv.org/abs/1906.09607

代码:https://github.com/JaminFong/DenseNAS

近年来,网络结构搜索(NAS)已经极大推进了神经网络结构设计的发展。然而很多以往的工作都需要很大的计算代价,最近Differentiable NAS通过在连续空间上构建一个包含所有要搜索结构的搜索空间(super network)极大的减少了搜索代价。然而,很少有Differentiable的方法可以搜索网络结构的宽度(即通道数),因为按照传统Differentiable NAS的方法,将不同宽度的结构集成到一个super network里面很难实现。在本论文中,我们提出了一个新颖的Differentiable NAS的方法——DenseNAS,该方法可以搜索网络结构中每个block的宽度和对应的空间分辨率。我们通过构建一个密集连接的搜索空间来实现该目的。在我们设计的搜索空间中,拥有不同宽度和空间分辨率的block之间相互连接,搜索过程中优化block之间的转移概率从而选取一个最优路径。DenseNAS使得网络结构搜索的灵活性更强,以宽度搜索为出发点,同时可以搜索网络结构下采样的位置和全局深度(不仅限于每个block中的层数,block的数量也会被搜索)。在ImageNet上,DenseNAS得到的模型以较低的latency取得了75.9%的精度,整个搜索过程在4块GPU上仅用了23个小时。

总结


NAS在自动化设计神经网络结构上取得了巨大的成功,NAS将会成为深度学习下一步发展必不可少的方向。NAS不仅能进一步提升网络结构模型性能,还能够很大程度减轻人类模型结构优化工作的负担。在某种程度上,NAS搜索得到的结果还能反过来指引人们优化、设计模型结构。未来NAS的发展可能会从几个方向开展:更灵活、普适性更强的搜索空间,更小的搜索代价,更多的应用场景,更高的自动化,更鲁棒的搜索过程等等。

参考文献


[1] Elsken T, Metzen J H, Hutter F. Neural architecture search: A survey[J]. arXiv preprint arXiv:1808.05377, 2018.

[2] Zoph B, Le Q V. Neural architecture search with reinforcement learning[J]. arXiv preprint arXiv:1611.01578, 2016.

[3] Zoph B, Vasudevan V, Shlens J, et al. Learning transferable architectures for scalable image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 8697-8710.

[4] Pham H, Guan M Y, Zoph B, et al. Efficient neural architecture search via parameter sharing[J]. arXiv preprint arXiv:1802.03268, 2018.

[5] Liu C, Zoph B, Neumann M, et al. Progressive neural architecture search[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 19-34.

[6] Bender G, Kindermans P J, Zoph B, et al. Understanding and simplifying one-shot architecture search[C]//International Conference on Machine Learning. 2018: 549-558.

[7] Real E, Aggarwal A, Huang Y, et al. Regularized evolution for image classifier architecture search[J]. arXiv preprint arXiv:1802.01548, 2018.

[8] Liu H, Simonyan K, Yang Y. Darts: Differentiable architecture search[J]. arXiv preprint arXiv:1806.09055, 2018.

[9] Tan M, Chen B, Pang R, et al. Mnasnet: Platform-aware neural architecture search for mobile[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 2820-2828.

[10] Cai H, Zhu L, Han S. ProxylessNAS: Direct neural architecture search on target task and hardware[J]. arXiv preprint arXiv:1812.00332, 2018.

[11] Fang J, Chen Y, Zhang X, et al. EAT-NAS: Elastic Architecture Transfer for Accelerating Large-scale Neural Architecture Search[J]. arXiv preprint arXiv:1901.05884, 2019.

[12] Fang J, Sun Y, Zhang Q, et al. Densely Connected Search Space for More Flexible Neural Architecture Search[J]. arXiv preprint arXiv:1906.09607, 2019.

本文分享自微信公众号 - 人工智能前沿讲习(AIFrontier),作者:方杰民

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-07-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 精选论文 | 网络结构搜索-单目标跟踪【附打包下载】

    近年来Siamese网络在单目标跟踪中发展迅速,在近两年的VOT比赛和顶会中Siamese大放异彩。讲者张志鹏将分享经典的siamese跟踪论以及近期的进展。

    马上科普尚尚
  • 瑞士生物识别研究与测试中心主任SebastienMarcel教授:生物特征识别攻击和反攻击技术(WSB2018报告,附PPT)

    2018年生物特征识别冬令营(IAPR/IEEE Winter School on Biometrics 2018)由IAPR和IEEE冠名和赞助,于2018年...

    马上科普尚尚
  • SFFAI 分享 | 傅朝友:Domain-Aware Diverse Face Manipulation

    近年来随着生物特征识别技术在日常生活中的应用推广,异质人脸识别受到了广泛的关注。然而,由于异质人脸之间巨大的域差异以及配对异质数据的不足,异质人脸识别任务面临着...

    马上科普尚尚
  • NAS 服务器的上搭建 huginn

    最近为了安装 huginn,在aws和 aliyun 上都尝试部署了,发现性能过差,服务很不稳定,就有了自己搭一台服务器的想法,恰好金华老师向我安利了一把 na...

    huginn 中文网
  • ICLR2020|商汤提出新目标检测NAS方法:算力重分配(CRNAS)

    介绍一下我在商汤科技&悉尼大学AutoML组ICLR2020最新文章,文章也会分享一些我对NAS的一些浅显的个人看法,希望能够对大家有所启发。

    Amusi
  • 微博大V@爱可可:arXiv论文怎么读?

    用户1737318
  • Linux下安装Oracle的过程和涉及的知识点-系列3

    binutils-2.20.51.0.2-5.11.el6 (x86_64) compat-libcap1-1.10-1 (x86_64) compat-l...

    bisal
  • 程序猿分析了42万字歌词后,终于搞清楚民谣歌手唱什么了

    听了这么多年民谣,我有一种感觉,就是很多歌都似曾相识,但是仔细一想,又哪一首都想不起来,为了搞清楚这群流浪在祖国大地的现代游吟诗人们都在唱些什么,我做了一些数据...

    华章科技
  • Python描述符的使用

    作为一位python的使用者,你可能使用python有一段时间了,但是对于python中的描述符却未必使用过,接下来是对描述符使用的介绍

    py3study
  • Spring核心——全局事件管理 原

    ApplicationContext是一个Context策略(见上下文与IoC),他除了提供最基础的IoC容器功能,还提供了MessageSource实现的国际...

    随风溜达的向日葵

扫码关注云+社区

领取腾讯云代金券