谷歌大脑撰文解析 AutoML:神经网络如何自行设计神经架构? | Google I/O 2017

在 Google I/O 大会上,谷歌公布了最新的机器学习算法——AutoML,随即,Quoc Le 与 Barret Aoph 大神在 Google Research Blog 上发布了一篇名为《采用机器学习探索神经网络架构》的文章。AI科技评论进行了编译,并做了不改动原意的编辑和修改。

「在谷歌团队,我们成功地将深度学习模型应用于非常多的领域,从图像识别、语音识别到机器翻译等等。自然,这些工作离不开一整支工程师与科学家团队的努力。人工设计机器学习模型的过程实际上绝非坦途,因为所有可能组合模型背后的搜索空间非常庞大——一个典型的十层神经网络可能有~1010 种可能的神经网络组合。问题也接踵而至,为了应对这样庞大的数量级,神经网络的设计不仅耗时,而且需要机器学习专家们累积大量的经验。」

如图是 GoogleNet 的架构。神经网络的设计需要从最初的卷积架构开始,进行多年的细心调试

为了让机器学习模型的设计变得更加简单,谷歌团队一直希望能让这一过程自动化。此前谷歌也有做不少尝试,包括 evolutionary algorithms 与 reinforcement learning algorithms 等算法已经呈现了比较好的结果。而 Quoc Le 与 Barret Zoph 在此文中所展现的,是谷歌大脑团队目前在强化学习上得到的一些尝试与早期结果。

在团队一个名为「AutoML」的项目中(如图所示),左边有一个名为「控制器」(the controller)的 RNN,它设计出一个「child」的模型架构(AI科技评论觉得可以称之为「雏形/子架构」),而后者能够通过某些特定任务进行训练与评估。随后,反馈的结果(feedback)得以返回到控制器中,并在下一次循环中提升它的训练设定。这一过程重复上千次——生成新的架构、测试、再把反馈输送给控制器再次学习。最终,控制器会倾向于设计那些在数据集中能获得更高准确性的架构,而反之亦然。

谷歌团队将这一方法应用于深度学习的两大数据集中,专注图像识别的 CIFAR-10 与语言建模的 Penn Treebank。在两个数据集上,系统自行设计的模型性能表现与目前机器学习专家所设计的领先模型不相上下(有些模型甚至还是谷歌成员自己设计的!)。

猜猜哪个是人类设计的神经网络架构,哪个是机器设计的?

让机器自行选择架构(machine-chosen architecture),与人类在设计神经网络的时候有一些共通之处,比如都采用了合并输入,并借鉴了此前的隐藏层。但其中也有一些亮点,比如机器选择的架构包含乘法组合 ( multiplicative combination),如右图最左边(机器设计)的蓝色标签为「elem_mult」。对于循环神经网络而言,出现组合的情况并不多见,可能因为人类研究者并没有发现明显的优势。有意思的地方在于,此前人类设计者也提议过机器采用的乘法组合,认为这种方法能够有效缓解梯度消失/爆炸问题。这也就意味着,机器选择的架构能够对发现新的神经架构大有裨益。

此外,机器还能教会人类为何某些神经网络的运行效果比较好。上图右边的架构有非常多的渠道,梯度可以向后流动,这也解释了为何 LSTM RNNs 的表现比标准 RNN 的性能要好。

「从长远看来,我们对于机器所设计的架构进行深入的分析和测试,这能够帮助我们重新定义原本自身对架构的看法。如果我们成功,这意味着将会启发新的神经网络的诞生,也能让一些非专家研究人员根据自己的需要创造神经网络,让机器学习造福每一个人。」

参考文献:

[1] Large-Scale Evolution of Image Classifiers, Esteban Real, Sherry Moore, Andrew Selle, Saurabh Saxena, Yutaka Leon Suematsu, Quoc Le, Alex Kurakin. International Conference on Machine Learning, 2017.

[2] Neural Architecture Search with Reinforcement Learning, Barret Zoph, Quoc V. Le. International Conference on Learning Representations, 2017.

via research.googleblog,AI科技评论编译

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-05-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

35页自然语言处理深度学习综述,带你纵览NLP知识全貌

【导读】随着深度学习技术的蓬勃发展,自然语言处理领域也是日新月异,本文为大家带来了最新的基于深度学习的自然语言处理综述,希望能够帮助大家了解NLP领域中的最新进...

672
来自专栏人工智能头条

专家观点碰撞:深度学习能否取代其他机器学习算法

1354
来自专栏人工智能头条

深度学习在推荐领域的应用

753
来自专栏新智元

【Yoshua Bengio 亲自解答】机器学习 81 个问题及答案(最全收录)

这是 Quora 的最新节目,针对特定话题进行系列的问答。如果你不了解 Quora,可以把它看作美国版的知乎,不过里面大咖云集,奥巴马、Elon Musk、Bi...

2685
来自专栏ATYUN订阅号

【技术】谷歌发布MobileNetV2:新一代移动端计算机视觉网络

1165
来自专栏新智元

【AI 工厂】Facebook 计算机视觉 Lumos平台,内容理解之上的图像技术

【新智元导读】Facebook 官方博客最新发表文章,详细介绍其 AI 平台 FBLearner Flow 及建立在上面的专用于图像和视频理解任务的 Lumos...

2689
来自专栏数据派THU

清华大学刘知远:知识表示学习及其应用(附视频、PPT下载)

本讲座选自清华大学计算机系副教授刘知远于2018年4月27日在第二届“大数据在清华”高峰论坛上所做的题为《知识表示学习及其应用》的演讲。

1016
来自专栏人工智能头条

推荐算法不够精准?让知识图谱来解决

1432
来自专栏数据科学与人工智能

【数据可视化】读图时代可视化及其技术分析

一、可视化的涵义 1、可视化的由来 “可视化”一词源于英文“Visualization”,译为“形象化”、“成就展现”等。事实上,将任何抽象的事物、过程变成图形...

2298
来自专栏新智元

【迁移学习】 6张图像vs13000张图像,超越2013 Kaggle猫狗识别竞赛领先水平

【新智元导读】2013年,Kaggle举办过一个很受欢迎的猫狗识别竞赛(Dogs vs. Cats),比赛内容是识别图像中的是猫还是狗。当时获胜的准确率是82....

2638

扫描关注云+社区