前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >谷歌大脑发布神经架构搜索新方法:提速1000倍

谷歌大脑发布神经架构搜索新方法:提速1000倍

作者头像
量子位
发布2018-03-21 10:58:33
8140
发布2018-03-21 10:58:33
举报
文章被收录于专栏:量子位
岳排槐 发自 LZYY 量子位 出品 | 公众号 QbitAI

去年,谷歌大脑团队发布神经网络自动架构搜索(NAS)。这个方法理论上能够更好地、自动化地设计神经网络的架构。

尽管NAS表现出色,但却要耗费大量的计算资源。运行一次,可能需要450块GPU跑上3-4天,大约耗用32400-43200个GPU小时。

一旦投入不够,就得不到理想的结果。

显然大牛们不会坐视不理。一年后,谷歌大脑团队发布了他们最新的研究成果:ENAS,全称是:Efficient Neural Architecture Search。

谷歌大脑的团队成员发现,NAS的计算瓶颈在于训练子模型收敛时,只衡量准确率而丢掉了所有训练成的权重。

最新的研究,就是强制所有子模型共享权重,来提高NAS的效率。这个方法的复杂性在于,每个子模型的权重使用并不相同。

最终,谷歌大脑团队还是成功了。使用新方法后,仅用一块英伟达GTX 1080Ti显卡,就能在16个小时之内完成架构搜索。

与NAS相比,GPU时间耗用减少了1000倍以上。

这篇论文刚刚提交到arXiv上发表。作者包括:Hieu Pham、Melody Y. Guan、Barret Zoph、Quoc V. Le、Jeff Dean。

如果你对论文细节感兴趣,传送门在此:

https://arxiv.org/abs/1802.03268

另外,在ICLR 2018大会接收的论文中,也有一些算是类似方向的研究。如果你同样感兴趣,请收下这个来自谷歌大脑团队成员@hardmaru分享的传送门:

https://openreview.net/forum?id=rydeCEhs-

https://openreview.net/forum?id=BJQRKzbA-

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-02-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 量子位 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 岳排槐 发自 LZYY 量子位 出品 | 公众号 QbitAI
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档