学界 | DeepMind提出架构搜索新方法:使用分层表示,时间短精度高

选自arXiv

机器之心编译

参与:刘晓坤、路雪

DeepMind 联合 CMU 近日提出一种结合模型结构分层表示和进化策略的高效架构搜索方法,通过比较人工设计的架构、使用强化学习找到的架构、使用随机或进化搜索找到的架构的实验结果,研究者发现这种搜索方法能有效找到性能超越人工设计的架构。

论文:Hierarchical Representations for Efficient Architecture Search

论文链接:https://arxiv.org/abs/1711.00436

我们探索了多种高效的神经架构搜索方法,介绍了一种简单而强大的进化算法,该算法可以发现达到当前最佳结果的新架构。我们的方法结合了一种新型分层遗传表示体系(hierarchical genetic representation),可以模仿人类专家常用的模块化设计模式,和支持复杂拓扑的表达能力很强的搜索空间。我们的算法能够高效地发现性能超越大量人工设计的图像分类模型的架构,在 CIFAR-10 上获得了 top-1 误差率 3.6% 的结果,在 ImageNet 上取得了 20.3% 的结果。该算法相对于当前最好的神经架构搜索方法是很有竞争力的,并且在这个任务上展示了新的当前最佳的进化策略。我们还展示了使用随机搜索的结果,在 CIFAR-10 上获得的结果仅比 top-1 准确率少 0.3%,在 ImageNet 上获得的结果仅比 top-1 准确率少 0.1%,而且我们的算法还将架构搜索的时间从 36 个小时减少到了 1 个小时。

我们的主要贡献总结如下:

  1. 我们提出了描述神经网络架构的分层架构表示;
  2. 我们的研究发现,即使用过分简化的随机搜索也能找到性能不错的图像分类架构,这体现了选择搜索空间的重要性;
  3. 我们展示了进化搜索的一种高效、可扩展的变体,可以进一步提升结果,并达到进化架构搜索技术的最佳已发表结果。

图 1. 三级分层架构表示图示。下行展示了 1 级的初始操作

如何组合成一个 2 级 motif

,上行展示了 2 级 motif

如何组合成一个 3 级的 motif

图 2. 使用架构搜索优化过的单元(cell)构建的图像分类模型。左上:在 CIFAR-10 上进行架构搜索使用的小型模型。右上:在 CIFAR-10 上用于学得单元评估的大型模型。下方:在 ImageNet 上用于学得单元评估的模型。

图 3. 水平表示(flat representation)和分层表示的拟合度与参数数量分别与进化步的对比结果图示。左:每个进化步生成的遗传型拟合度。中间:每个进化步之前的所有遗传型的最大拟合度。右:在 CIFAR-10 中,使用每个进化步中生成的遗传型来构建的小型模型的参数数量。

图 4. 进化过程中的准确率提升,根据第一个随机遗传型进行度量。小型模型用于在进化过程中计算拟合度(图中红线展示了其绝对拟合度)。大型模型使用进化单元架构用于训练和评估。

表 1. 使用多种表示和搜索方法找到的架构在 CIFAR-10 测试集和 ILSVRC 验证集上的分类结果。

表 2. 使用当前最佳模型和利用我们提出的架构搜索框架找到的最佳架构在 CIFAR-10 测试集上取得的分类误差结果。现有模型按以下方式排列(从上到下):人工设计的架构,使用强化学习方法找到的架构,使用随机或进化搜索找到的架构。

表 3. 使用当前最佳模型和利用我们提出的架构搜索框架找到的最佳架构在 ImageNet 验证集上取得的分类误差结果。

本文为机器之心编译,转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心(全职记者/实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告&商务合作:bd@jiqizhixin.com

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-11-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏QQ空间开发团队的专栏

有关照片聚类算法的思考

本文作者主要从聚类的规则、聚类效果、聚类的算法八个方面探讨有关照片聚类算法的思考。

67300
来自专栏AI科技评论

干货 | AAAI 2018 论文预讲:当强化学习遇见自然语言处理有哪些奇妙的化学反应?

AI科技评论按:随着强化学习在机器人和游戏 AI 等领域的成功,该方法也引起了越来越多的关注。在近期 GAIR 大讲堂上,来自清华大学计算机系的博士生冯珺,为大...

67670
来自专栏机器之心

深度 | 迁移学习全面概述:从基本概念到相关研究

选自sebastianruder.com 作者:Sebastian Ruder 机器之心编译 参与:马亚雄、吴攀、李亚洲 将在一个场景中学习到的知识迁移到另一个...

35170
来自专栏AI科技评论

视频 | 10分钟带你认识强化学习

AI 科技评论按:喜欢机器学习和人工智能,却发现埋头苦练枯燥乏味还杀时间?油管频道 Arxiv Insights 每周精选,从技术视角出发,带你轻松深度学习。

14350
来自专栏CSDN技术头条

一文带你理解深度学习的局限性

深度学习:几何视图 深度学习最令人惊讶的特点便是极易上手。十年以前,没有人可以猜得到经过梯度下降法训练过的简单参数模型可以在机器感知问题上实现如此惊人的结果。现...

22880
来自专栏机器之心

学习世界模型,通向AI的下一步:Yann LeCun在IJCAI 2018上的演讲

Yann LeCun 开场介绍说,当前几乎所有的机器学习从业者在实践中使用的都是监督式学习:向机器展示大量的样本,然后告诉机器正确的答案与内部参数,然后就能做图...

14020
来自专栏ATYUN订阅号

新的AI工具可帮助设计人员扩展虚拟纹理,保持高度逼真

深圳大学和华中科技大学研究人员创造了一种新的AI工具,可以帮助设计人员为视频游戏,虚拟现实和动画制作更逼真的虚拟纹理。

15240
来自专栏机器学习算法与Python学习

推荐 | 一文读懂深度学习与机器学习的差异

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 转自:小象 源 | dzone.co...

40970
来自专栏灯塔大数据

塔说 | 一文读懂深度学习与机器学习的差异

导 读 如果你经常想让自己弄清楚机器学习和深度学习的区别,阅读该文章,我将用通俗易懂的语言为你介绍他们之间的差别。 机器学习和深度学习变得越来越火。突然之间,...

35090
来自专栏机器之心

学界 | 伯克利强化学习新研究:机器人只用几分钟随机数据就能学会轨迹跟踪

32660

扫码关注云+社区

领取腾讯云代金券