专栏首页ATYUN订阅号优化人工智能模型的工具——Auptimizer

优化人工智能模型的工具——Auptimizer

编辑 | TGS

发布 | ATYUN订阅号

近年来,尽管像Databricks的AutoML工具包、Salesforce的transfogrfai和IBM的Watson Studio AutoAI等开源工具层出不穷,但大规模地调整机器学习算法仍是一个挑战。寻找正确超参数(算法中的变量有助于控制整个模型的性能)的工作通常极为耗时,如:作业调度、跟踪数据等。这就是LG高级人工智能部门的科学家开发Auptimizer的原因,Auptimizer是一个开源的超参数优化框架,旨在帮助人工智能模型的调整和记账。它可以从GitHub上获得。

LG团队在一篇介绍Auptimizer的论文中写道:Auptimizer简化了配置各种大量模型的过程,并具有可重现性。它与所有超参数算法一样,能够在为超参数赋值之前初始化搜索空间和配置,然后训练目标模型并更新结果。最终重复命题、训练和更新阶段,直到确定最优值。

Auptimizer采用基于梯度的架构搜索,其中基于AI模型的控制器能够生成“子模型”字符串,这些“子模型”的架构由字符串变量指定。该控制器利用被训练的子模型的精度作为一种信号,逐步地为具有更高精度的结构分配更高的概率,从而提高其搜索能力。

Auptimizer只需要几行代码,就可以帮助用户逐步完成与实验相关的配置设置,并且支持在不同的超参数算法和计算资源之间进行切换,不需要用户重写训练脚本。此外,它的设计可以平滑扩展到其他算法和资源,不需要进行过大的修改。

一旦定义并初始化了实验,Auptimizer就会不断地检查可用资源和超参数数据,并运行作业来确定最佳模型。工作负载完成后,它会启动一个异步记录和保存结果的函数,自动执行映射,并将超参数值保存到文件中,以便可以将这些数据恢复到特定作业中使用。

用户可以指定实验配置中使用的资源,包括:处理器、图形芯片等,它与现有的资源管理工具兼容,并能够在数据库中跟踪可用的资源和作业。另外,它还有一个能可视化历史结果的基本工具。

该团队表示,未来的Auptimizer将支持边缘设备的端到端模型构建,包括模型压缩和神经结构搜索。他们在论文中写道:“Auptimizer不仅为高效开发新算法提供了一个通用的平台。更重要的是,它降低了数据科学家在实践中对超参数进行优化的难度。Auptimizer的可扩展性,能够帮助用户在所有可用的计算资源下高效地训练模型,这使得从业者能够相对轻松地,用高级算法快速探索自己的想法。”

本文分享自微信公众号 - ATYUN订阅号(atyun_com),作者:关注人工智能的

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【学术】以精确性来提高对机器学习的信任

    传统的机器学习工作流程主要集中在模型训练和优化上,最好的模型通常是通过像精确或错误这样的性能度量来选择的,我们倾向于假定一个模型如果超过了这些性能标准的某些阈值...

    AiTechYun
  • 【行业】如何解决机器学习中出现的模型成绩不匹配问题

    评估机器学习模型的程序是,首先基于机器学习训练数据对其进行调试和评估,然后在测试数据库中验证模型是否具有良好的技能。通常,在使用训练数据集评估模型后,你会对得到...

    AiTechYun
  • Salesforce开源用于结构化数据的机器学习库TransmogrifAI

    机器学习模型可以识别数百,数千甚至数百万数据点之间的关系,但很难进行建构。数据科学家花费数周和数月不仅预处理要训练模型的数据,而且从该数据中提取有用的特征(即数...

    AiTechYun
  • “数学之美”系列七:信息论在信息处理中的应用

    我们已经介绍了信息熵,它是信息论的基础,我们这次谈谈信息论在自然语言处理中的应用。 先看看信息熵和语言模型的关系。我们在系列一中谈到语言模型时,没有讲如何定量地...

    小莹莹
  • ASP.NET应用下基于SessionState的“状态编程框架”解决方案

    在一个基于ASP.NET的Web应用程序中,我们通常使用SessionState保存基于某个客户端的状态信息。但是这种单纯使用SessionState的编程方式...

    蒋金楠
  • 未来5-10年,NLP将走向成熟

    近日,微软亚洲研究院(MSRA)副院长周明在「自然语言处理前沿技术分享会」上,与大家讲解了自然语言处理(NLP)的最新进展,以及未来的研究方向,以下内容由CSD...

    CSDN技术头条
  • 未来5-10年,自然语言处理将走向成熟

    用户1737318
  • IF=5.688的“研究生之友”,快速发高分SCI不是梦!

    Journal of Clinical Medicine杂志是由瑞士MDPI出版社发行的国际同行评审Open Access期刊,每月一期,ISSN号为2077-...

    百味科研芝士
  • 无需过于担心DeepFake,研究表明人们通过练习能够更好地识别假新闻

    由AI制作的假视频和图片开始泛滥,促使学者和立法者呼吁采取对策,以免削弱人们的信任,但麻省理工学院媒体实验室和马克斯普朗克人类发展研究所的研究人员表示,这些担忧...

    AiTechYun
  • 一、事件函数的执行顺序(脚本的生命周期)

    上图概括了unity如何在脚本的生命周期内对事件函数进行排序以及重复执行这些事件函数。

    酱紫安

扫码关注云+社区

领取腾讯云代金券