【AutoML】优化方法可以进行自动搜索学习吗？

大家好，欢迎来到专栏《AutoML》，在这个专栏中我们会讲述AutoML技术在深度学习中的应用，这一期讲述在优化方法选择中的应用。

作者&编辑 | 言有三

要成功训练一个深度学习模型，正确的优化策略是非常重要的，如果使用不当结果会产生很大的差异，今天来介绍AutoML与优化相关的问题。

1 Neural Optimizer Search

Neural Optimizer Search[1]是一个自动搜索优化方法的框架，它使用强化学习方法设计的RNN结构控制器进行学习，该控制器在每一步中给优化器生成权重更新方程，从而实现最大化模型准确率，示意图如下：

在搜索空间中包含sgd，rmsprop，adam等优化方法，这些方法都可以被表示为一个相同结构的树，如下：

因此一个优化器的应用可以被表示为5个操作，分别是选择op1，op2，两个操作的幅度函数u1，u2，以及最后对这两个操作的综合。

因此，不管选择什么优化器，完成一次优化步骤都是要做以上的5次操作，那么如果可以学习到这5次操作，就完成了一个优化器的搜索，搜索流程如下：

RNN控制器每一次选择长度为5的子序列，如上图。搜索空间如下，具体操作解释可以阅读原文，使用的时候还有一些约束，比如树的左右两个操作不能相同等。

经过在CIFAR10数据集上对一个2层的简单网络进行学习后，它们搜索到了一些有效的优化器，如下图的PowerSign以及AddSign。

当然，研究者们还对衰减机制也进行了搜索学习，感兴趣的读者可以去阅读原文。

最后，研究者们还将PowerSign和AddSign迁移到了ImageNet分类任务和谷歌机器翻译系统，发现它们具有非常好的泛化能力，这使得该框架具有非常大的应用价值。

2 其他

Neural Optimizer Search并不是率先对自动优化器的设计进行学习的框架，在上个世纪[2]研究人员就在思考如何让算法自我学习，自动寻找更好的算法。

文[3-5]也致力于获得更好的更新规则，不过Neural Optimizer Search搜索的是函数的组合而不是具体的数值更新，原理更加清晰并且有更好的泛化能力。如今Meta learning等领域是学界比较有潜力的方法，感兴趣的同学可以自行深入学习。

[1] Bello I, Zoph B, Vasudevan V, et al. Neural optimizer search with reinforcement learning[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 2017: 459-468.

[2] Bengio S, Bengio Y, Cloutier J. Use of genetic programming for the search of a new learning rule for neural networks[C]//Proceedings of the First IEEE Conference on Evolutionary Computation. IEEE World Congress on Computational Intelligence. IEEE, 1994: 324-327.

[3] Li K, Malik J. Learning to optimize[J]. arXiv preprint arXiv:1606.01885, 2016.

[4] Andrychowicz M, Denil M, Gomez S, et al. Learning to learn by gradient descent by gradient descent[C]//Advances in neural information processing systems. 2016: 3981-3989.

[5] Wichrowska O, Maheswaranathan N, Hoffman M W, et al. Learned optimizers that scale and generalize[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 2017: 3751-3760.

总结

优化方法的自动学习是一个研究已久并且非常具有价值的研究方向，本篇仅做了简单介绍，感兴趣的可以阅读更多内容。

下期预告：AutoML在损失函数设计中的应用。