首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >谷歌AutoML新进展,进化算法加持,仅用数学运算自动找出ML算法

谷歌AutoML新进展,进化算法加持,仅用数学运算自动找出ML算法

作者头像
机器之心
发布2020-07-14 15:37:05
5160
发布2020-07-14 15:37:05
举报
文章被收录于专栏:机器之心机器之心

机器之心报道

参与:魔王、杜伟、小舟

仅使用基础数学运算就能自动搜索机器学习算法?谷歌 Quoc V. Le 等人提出了 AutoML-Zero 方法。

AutoML-Zero 旨在通过从空程序或随机程序开始,仅使用基础数学运算,来自动发现能够解决机器学习任务的计算机程序。其目标是同时搜索 ML 算法的所有属性,包括模型结构和学习策略,同时将人类偏见最小化。

近来,机器学习(ML)取得了显著的成功,这要归功于深度神经网络等 ML 算法。与此同时,这一领域研究中遇到的困难又催生了 AutoML,AutoML 旨在实现 ML 算法的自动化设计。

目前,AutoML 主要通过结合复杂的手动设计组件来开发解决方案。神经架构搜索就是一个典型的示例,在这个子域中,研究人员基于复杂层(如卷积、批归一化和 dropout)来自动构建神经网络。

在 AutoML 中使用这些手动设计组件的另一种方法是从零开始搜索完整的算法。这种方法具有一定的难度,因为它需要探索大型且稀疏的搜索空间。但同时,这种方法也具有巨大的潜在益处,它不会偏向于我们已经了解的东西,并且有可能发现新的、更好的 ML 架构。

从零开始学习算法的早期研究主要聚焦算法的一个方面(如学习规则),以减少搜索空间和计算量。但自 20 世纪 90 年代后这类研究逐渐冷门,直到现在才重新得到重视。

2018 年 3 月,谷歌大脑团队即进行相关研究,使用进化的 AutoML 来发现神经网络架构。如今,谷歌将这项研究进一步扩展,证明从零开始进化 ML 算法是有可能的。相关研究被 ICML 2020 接收,这项研究出自谷歌大脑团队 Quoc V. Le 等学者之手。

  • 论文链接:https://arxiv.org/pdf/2003.03384.pdf
  • GitHub 项目地址:https://github.com/google-research/google-research/tree/master/automl_zero#automl-zero

在这项研究中,谷歌提出了新方法 AutoML-Zero,该方法从空程序(empty program)开始,仅使用基本的数学运算作为构造块,使用进化方法来自动找出完整 ML 算法的代码。

在一些小的图像分类问题上,AutoML-Zero 方法重新发现了一些基本的 ML 技巧,如具备反向传播的双层神经网络和线性回归等,而这些是之前的研究人员经过数年时间才发现的。

这一结果表明,自动发现更新颖的 ML 算法以解决更棘手的问题,这一想法在未来是可行的。

接下来,我们来看 AutoML-Zero 方法的具体实现原理。

从零开始进化学习算法

谷歌使用经典进化方法的变体「正则化进化搜索方法」来搜索算法空间。这些方法被证明在发现计算机程序方面很有效,其简洁性和可扩展性使得它们非常适合发现学习算法。

正则化进化搜索方法中的 cycle。

在这项研究中,谷歌团队使用空程序对群体进行初始化,然后不断重复循环来生成更好的学习算法。

在每一次循环中,两个(或更多)随机模型展开竞争,最准确的模型成为「parent」。之后 parent 模型复制自己得到变异了的子模型,即子模型的代码以随机形式进行了修改,例如任意插入、移除或修改一行代码。

接下来,研究人员在图像分类任务上评估变异后的算法。

整个过程如下图所示:

使用空程序对群体进行初始化。经过多代后,得到进化后的群体。其中两个算法进行竞争,最准确的一个获胜并生成子模型。经过多次迭代后,最终的群体包含高度准确的分类器。

探索有难度的搜索空间

与之前的 AutoML 工作不同,AutoML-Zero 的搜索空间非常稀疏:准确算法的比例大约是 1:1012。原因在于算法构造块的细粒度,它仅包含基础运算,如变量赋值、加和矩阵相乘。在这样的环境下,随机搜索无法在合理时间内找到解,然而进化的速度提升了数万倍。

谷歌研究者将搜索分配到多个机器上,并构建了多个小型分类任务以评估每个子算法。此类评估使用高度优化的代码执行。

尽管搜索空间稀疏,但随着时间的推移,进化搜索也能发现更复杂和有效的技术。

最开始进化搜索发现的是最简单的算法——具备硬编码权重的线性模型。经过一段时间后,随机梯度下降(SGD)被创造出来学习权重,尽管梯度本身还没有作为构造块。一开始 SGD 存在一些缺陷,但它很快就进行了迭代修复,并开始了对预测和学习算法的一系列改进。

在谷歌的实验案例中,这一搜索过程发现了一些已有的有用概念。最后,该方法构建的模型优于具有类似复杂性的手动设计模型。

进化实验的流程。从左到右按时间顺序,谷歌研究者发现算法变得越来越复杂,也越来越准确。

进化后的算法

上图描述了由该方法生成的最佳进化算法。最终得到的算法包含了多项技术,如将噪声注入作为数据增强方式、双线性模型、梯度归一化和加权平均等。对基线的改进也可以迁移到搜索中未用到的数据集。

谷歌在论文中介绍了进化后代码的不同行对这些技术的实现,并通过控制变量研究验证了它们的价值。

通过更多的实验,研究者发现,控制进化过程评估算法适用性的任务能够指导进化搜索。

例如,当数据量减少时,noisy ReLU 就会出现。当训练步骤减少时,学习率有所衰减,从而加快收敛速度。

这类有针对性的发现很重要。自动发明工具的机器造出锤子或针是件很有趣的事,但是如果它能在你展示钉子后造出锤子,展示线后造出针,这不是更有趣吗?

这就像刚才提到的,当数据量较少时(「钉子」),noisy ReLU 出现(「锤子」);当训练步骤减少时(「线」),学习率出现下降(「针」)。

结论

谷歌这项研究还比较初级,尚未进化出新的算法。但是进化后得到的算法能够超越搜索空间中存在的简单神经网络,这一点已经足够振奋人心。目前,搜索进程需要大量计算。未来几年,随着硬件设备的发展,搜索方法变得更加高效,搜索结果或许会有所改进。

原文链接:https://ai.googleblog.com/2020/07/automl-zero-evolving-code-that-learns.html

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-07-10,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器之心 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档