专栏首页有三AI【完结】如何学习AutoML在模型优化中的应用,这12篇文章可以作为一个参考

【完结】如何学习AutoML在模型优化中的应用,这12篇文章可以作为一个参考

文/编辑 | 言有三

自动化机器学习技术是非常重要的基础研究,也是如今深度学习模型优化中的热点方向,我们开辟了一个专栏,专门讲解AutoML在深度学习模型优化中的一些重要思路,本次来给大家进行总结。

AutoML与数据增强

大家都知道数据增强很重要,是深度学习必备良药,写论文刷比赛提指标的大杀器。如果让模型针对具体的任务自动学习数据增强策略,理论上会更加智能,这便是基于AutoML的数据增强技术。

AutoML与激活函数

激活机制是一个网络非线性表达能力的来源,早期研究人员已经设计出了不少的激活函数,从Sigmoid到ReLU系列。随着AutoML技术的发展,现在研究人员开始使用搜索技术来进行设计。

AutoML与归一化机制

数据经过归一化和标准化后可以加快梯度下降的求解速度,这是Batch Normalization等技术非常流行的原因,它使得可以使用更大的学习率更稳定地进行梯度传播,甚至增加网络的泛化能力。使用AutoML技术可以让不同的网络层学习到最适合该层的归一化机制,从而提升模型能力。

AutoML与优化方法

要成功训练一个深度学习模型,正确的优化策略是非常重要的,如果使用不当结果会产生很大的差异,使用AutoML技术可以对优化方法进行搜索。

AutoML与优化目标

一个有效的损失函数在深度学习任务中起了关键作用,然而损失函数都是人为设定,不仅需要有经验的人员进行反复尝试,也只能获得次优的方案,如果可以让模型自动对优化目标进行学习,将有望以更低的成本学习到更优的模型。

AutoML与模型剪枝

模型剪枝是非常重要的模型压缩技巧,并且拥有比较复杂的剪枝策略,那么是否也可以使用AutoML技术来优化呢?

AutoML与模型量化

模型量化也是非常重要的模型压缩技巧,网络各层也可以配置不同的量化策略,那么是否也可以使用AutoML技术来优化呢?

AutoML与模型蒸馏

模型蒸馏也是非常重要的模型压缩技巧,拥有各种各样的设计策略,那么是否也可以使用AutoML技术来优化呢?

强化学习与NAS

强化学习是一种经典的方法,Google在2017年利用强化学习进行最佳模型架构的搜索,引爆了自动设计网络模型(Neural Architecture Search,简称NAS)的研究热潮。

进化算法与NAS

进化算法是一类算法的统称,是模拟自然选择和遗传等生物进化机制的一种搜索算法,也可以用于模型结构搜索优化。

可微分架构与NAS

可微分架构可以在连续的参数空间中进行搜索,这样带来的好处就是可以通过梯度下降算法直接进行优化,是比较高效的搜索NAS方法。

AutoML平台和项目

自从Google提出AutoML那天起,工业界和学术界就已经迅速跟进了,经过了几年的发展,那么现在工业界都有了哪些AutoML平台呢?又有哪些开源项目值得关注?

本文分享自微信公众号 - 有三AI(yanyousan_ai),作者:言有三

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-06-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【AutoML】当前有哪些可用的AutoML平台?

    大家好,欢迎来到专栏《AutoML》,在这个专栏中我们会讲述AutoML技术在深度学习中的应用,这一期讲述现有可用的AutoML平台。

    用户1508658
  • 【AutoML】AutoML专栏上线,跟Google一起见证调参党的末日?

    所谓AutoML,全称是Automated Machine Learning,即自动机器学习技术,它的发展现状可以参考下面的综述文章。

    用户1508658
  • 【AutoML】如何使用强化学习进行模型剪枝?

    大家好,欢迎来到专栏《AutoML》,在这个专栏中我们会讲述AutoML技术在深度学习中的应用,这一期讲述在模型剪枝中的应用。

    用户1508658
  • AutoML是算法工程师的末日吗?

    2012年,一份关于 Auto-WEKA 的 arXiv 报告发布,描述了一种自动选择机器学习算法、特征和超参数的方法,期望是它能够“帮助该领域的非专家用户”。

    McGL
  • 【AutoML】当前有哪些可用的AutoML平台?

    大家好,欢迎来到专栏《AutoML》,在这个专栏中我们会讲述AutoML技术在深度学习中的应用,这一期讲述现有可用的AutoML平台。

    用户1508658
  • 真的像Google的WANN不需要调权重了吗? 《AutoML》:一份自动化调参的指导

    为了寻找具备强归纳偏置的神经网络架构,研究者提出通过降低权重重要性的方式来搜索架构。具体步骤为:

    J.Q.Wang@2048
  • AutoML 是否被过度炒作?

    图源:汤姆和杰瑞,第70集 —— 按键猫(1952)(译者注:直到暑假去了上海Disney,我才知道它和兔八哥、啄木鸟伍迪都和迪士尼木有关系,气气

    AI研习社
  • 推荐收藏 | 一份AutoML自动化调参的指南

    为了寻找具备强归纳偏置的神经网络架构,研究者提出通过降低权重重要性的方式来搜索架构。具体步骤为:

    Sam Gor
  • AutoML 是否被过度炒作?

    汤姆和杰瑞,第70集(译者注:直到暑假去了上海Disney,我才知道它和兔八哥、啄木鸟伍迪都和迪士尼木有关系=-=)--按键猫(1952)

    AI科技评论
  • 清华朱文武团队斩获NIPS 2018 AutoML挑战赛亚军,高校排名第一

    本文介绍了NIPS 2018 AutoML挑战赛的最终结果,清华大学计算机系朱文武团队斩获第二,高校排名雄踞第一。

    数据派THU

扫码关注云+社区

领取腾讯云代金券