专栏首页量子位谷歌大脑发布神经架构搜索新方法:提速1000倍

谷歌大脑发布神经架构搜索新方法:提速1000倍

岳排槐 发自 LZYY 量子位 出品 | 公众号 QbitAI

去年,谷歌大脑团队发布神经网络自动架构搜索(NAS)。这个方法理论上能够更好地、自动化地设计神经网络的架构。

尽管NAS表现出色,但却要耗费大量的计算资源。运行一次,可能需要450块GPU跑上3-4天,大约耗用32400-43200个GPU小时。

一旦投入不够,就得不到理想的结果。

显然大牛们不会坐视不理。一年后,谷歌大脑团队发布了他们最新的研究成果:ENAS,全称是:Efficient Neural Architecture Search。

谷歌大脑的团队成员发现,NAS的计算瓶颈在于训练子模型收敛时,只衡量准确率而丢掉了所有训练成的权重。

最新的研究,就是强制所有子模型共享权重,来提高NAS的效率。这个方法的复杂性在于,每个子模型的权重使用并不相同。

最终,谷歌大脑团队还是成功了。使用新方法后,仅用一块英伟达GTX 1080Ti显卡,就能在16个小时之内完成架构搜索。

与NAS相比,GPU时间耗用减少了1000倍以上。

这篇论文刚刚提交到arXiv上发表。作者包括:Hieu Pham、Melody Y. Guan、Barret Zoph、Quoc V. Le、Jeff Dean。

如果你对论文细节感兴趣,传送门在此:

https://arxiv.org/abs/1802.03268

另外,在ICLR 2018大会接收的论文中,也有一些算是类似方向的研究。如果你同样感兴趣,请收下这个来自谷歌大脑团队成员@hardmaru分享的传送门:

https://openreview.net/forum?id=rydeCEhs-

https://openreview.net/forum?id=BJQRKzbA-

本文分享自微信公众号 - 量子位(QbitAI)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-02-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 动态 | 谷歌大脑用强化学习为移动设备量身定做最好最快的CNN模型

    AI 科技评论按:卷积神经网络(CNN)被广泛用于图像分类、人脸识别、物体检测以及其他许多任务中。然而,为移动设备设计 CNN 模型是一个有挑战性的问题,因为移...

    AI科技评论
  • 盘点 | Jeff Dean撰文回顾谷歌大脑2017:从基础研究到新硬件

    机器之心
  • 【支撑20亿人的机器学习】Jeff Dean、贾扬清等ScaledML大会演讲

    新智元
  • 3D视频聊天、百万比特量子计算机、十倍性能TPU:谷歌在I/O大会上让我们看到了未来

    5 月 19 日凌晨,一年一度的谷歌 I/O 大会在线上召开,在谷歌园区户外进行的开场 Keynote 上,这家公司发布了一系列引人瞩目的全新产品。

    机器之心
  • Jeff Dean 演讲直播:自主机器学习成为谷歌大脑最新研究热点(PPT)

    【新智元导读】谷歌大脑负责人 Jeff Dean 今天上午在 UCSB 做了题为《通过大规模深度学习构建智能系统》的演讲。新智元结合 UCSB CS 在 Twi...

    新智元
  • 【AI芯片争夺战】谷歌TPU率队,颠覆3350亿美元的半导体行业

    【新智元导读】人工智能系统的加速正在从根本上重塑着每年创造了3350亿美元的半导体行业。计算机开始认识一切,从花草到人脸,从文本到声音,以及学会开车。统治了计算...

    新智元
  • Jeff Dean、李飞飞等发起SysML大会,Jeff Dean主题演讲:系统与机器学习融合(45PPT)

    新智元报道 来源:SysML 2018 编辑:闻菲、艾霄葆、常佩琦、刘小芹 【新智元导读】Jeff Dean、Michael I.Jordan、李飞飞、...

    新智元
  • 大神Quoc Le:谷歌 AutoML幕后的传奇英雄

    【新智元导读】提及谷歌大脑、seq2seq、AutoML,许多人已是耳熟能详。在成功的背后,定是有许多研究人员的默默付出。而Quoc Le就是其中一位,堪称谷歌...

    新智元
  • 谷歌大脑2017总结(Jeff Dean执笔,干货满满,值得收藏)

    李杉 维金 编译自 Google Blog 量子位 出品 | 公众号 QbitAI 谷歌AI Senior Fellow、谷歌大脑负责人Jeff Dean,按照...

    量子位

扫码关注云+社区

领取腾讯云代金券