首页
学习
活动
专区
工具
TVP
发布

【星球知识卡片】AutoML都有哪些核心技术,如何对其进行长期深入学习

大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享AutoML的核心技术点。

作者&编辑 | 言有三

1 AutoML与数据增强

大家都知道数据增强很重要,是深度学习必备良药,写论文刷比赛提指标的大杀器。如果让模型针对具体的任务自动学习数据增强,理论上会更加智能,这便是基于AutoML的数据增强技术,它主要是用于自动学习数据增强策略。

2 AutoML与网络优化参数

随着深度学习技术的发展,激活函数,归一化方法,最大池化方法等都发展出了不少的变种,而最新的研究则集中于如何使用AutoML技术去进行设计。

3 AutoML与模型结构搜索

一直以来,网络结构的设计是一个非常需要经验且具有挑战性的工作,研究人员从设计功能更加强大和更加高效的模型两个方向进行研究,随着各类经典网络设计思想的完善,如今要手工设计出更优秀的模型已经很难,而以AutoML为代表的自动化机器学习技术就成为了大家关注的热点,其中用于搜索的方法包括强化学习,进化算法,贝叶斯优化,而需要优化的包括已有结构的参数搜索,子单元的搜索,整个网络架构的搜索等。

4 AutoML与模型压缩

虽然NAS本身具有模型优化的功能,但是当前也有许多成熟的模型优化方法,比如模型剪枝,量化,蒸馏,AutoML技术也在其中大展宏图。

5 AutoML与模型目标与方法设计

一个有效的损失函数在深度学习任务中起了关键作用,然而损失函数都是人为设定,不仅需要有经验的人员进行反复尝试,也只能获得次优的方案,如果可以让模型自动对优化目标进行学习,将有望以更低的成本学习到更优的模型。另一方面,要成功训练一个深度学习模型,正确的优化策略是非常重要的,如果使用不当结果会产生很大的差异,AutoML也可以在其中进行探索。

6 其他

总的来说,AutoML有非常多的研究方向,包括:

(1) 特征工程。

(2) 数据使用。

(3) 网络参数优化。

(4) 强化学习与网络结构搜索。

(5) 进化算法与网络结构搜索。

(6) 贝叶斯优化等方法与网络结构搜索。

(7) 网络搜索的加速方法。

(8) 其他等等。

以上内容,如果你不想自己学习,可以去我们知识星球的网络结构1000变板块—AutoML板块阅读。

有三AI知识星球

转载文章请后台联系

侵权必究

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20200621A06GMW00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券