计算未来轻沙龙：揭秘AutoML技术

10 月 27 日（周六）上午，PaperWeekly 携手清华大学计算机系推出了计算未来轻沙龙第三期线下活动——揭秘 AutoML 技术。来自中国科学技术大学、中国科学院自动化研究所和探智立方的三位嘉宾，系统而深入地分享了他们各自在自动机器学习领域的最新研究进展。

本文将独家分享本期活动的完整视频回顾和嘉宾课件下载。

吴开源 / 北京航空航天大学博士

吴开源，北京航空航天大学数学博士。目前是探智立方（北京）科技有限公司算法工程师，从事人工智能自动化平台算法研发。

DarwinML：基于图进化算法的自动机器学习

AutoML 技术可以减少模型设计过程中需要机器学习专业知识的手动操作，降低传统行业的进入门槛，让更多的社区开发者方便地使用人工智能技术。AutoML 技术最近得到学术界和工业界的越来越多的关注。

在这个讲座中，我们将介绍一种基于计算图的 AutoML 技术。利用计算图，可以灵活地表示各种复杂的 ML 模型。与 tree-based 和 stacking-based 等方法相比，基于计算图的方法可以提供了更大的搜索空间。我们引入了一种进化算法来搜索最佳的模型计算图，并设计相应的突变和遗传算子。结合贝叶斯超参数优化，我们实现了机器学习的整个工作流程的自动化。在 PMLB 数据集上，与 TPOT，AutoStacker 和 AutoSklearn 相比，所提出的方法显示了更好的性能。 我们还将展示几个基于 DarwinML 平台的工业用户案例。

罗人千 / 微软－中科大联合培养博士生

罗人千，微软亚洲研究院－中国科学技术大学联合培养博士生，目前博士三年级在读。研究方向：机器学习、深度学习、机器翻译。曾在 NIPS 上发表论文。

NIPS 2018：神经网络结构优化

神经网络搜索（Neural Architecture Search）是 AutoML 的一个分支，目标是针对给定的任务和数据，通过算法自动搜索出合适的深度神经网络结构，从而减少繁杂的人工设计过程。当前的一些搜索方法有在离散空间里基于强化学习、进化算法等搜索更优的结构。

本次报告将介绍我们今年发表在 NIPS 上的工作Neural Architecture Optimization。本工作将神经网络结构映射到连续空间内，直接基于网络的性能这一目标进行优化，使得搜索过程更高效、使用资源更少，搜索得到的网络结构性能更好。

陈玉康/ 中国科学院自动化研究所硕士生

陈玉康，本科毕业于北京航空航天大学，曾赴加拿大约克大学、德国慕尼黑工业大学交流交换，先后在百度 IDL、地平线机器人实习。现为中科院自动化所模式识别方向硕士，目前研究深度学习模型优化、模型压缩等方向。

基于进化算法和强化学习的网络结构搜索算法

深度神经网络逐渐替代了人工设计的特征，并在图像、语音、文本等领域不断超越传统算法。然而，深度神经网络的兴起也带来了新的问题。良好神经网络的结构通常需要研究者在拥有丰富经验的情况下不断尝试，消耗大量的时间和计算资源来设计。而这样设计出来的网络结构通常情况下仍然存在着各种各样的问题，比如参数量大，精度低等等。因此，自动化的神经网络结构设计逐渐成为深度学习的进一步需求。

本报告将详细介绍我们提出的一种在进化算法框架下结合强化学习的神经网络结构搜索算法。本算法在消耗极少计算资源的情况下，在 CIFAR-10 和 ImageNet 等分类任务上取得了良好的效果。此外，我们还会讨论神经网络结构搜索方向的重点难点，以及未来的工作和趋势。