亚马逊改进平台SageMaker,更新内置算法和Git集成

编译:chux

出品:ATYUN订阅号

亚马逊一直在为其云计算子公司AWS添加AI功能。今天,亚马逊宣布了一系列对SageMaker的改进,SageMaker是用于构建,训练和部署机器学习模型的端到端平台。

“机器学习是一个高度协作的过程,将领域经验与技术技能相结合是成功的基石,通常需要多次迭代和不同数据集和功能的实验,”AWS学习与AI总经理Matt Wood博士表示,“训练一个成功的模型几乎从来就不是一劳永逸的,所以能够跟踪重要的决策,回放成功的部分,重视有效的部分,我们正在引入新功能,使这些迭代更易于管理,重复和共享。”

首先列出的是Sagemaker Search,它使AWS客户能够找到AI模型训练运行独特的组合数据集,算法和参数。它可以从SageMaker控制台访问。

另一个新功能是Step Functions,它跨多个服务协调完成机器学习工作流程所需的步骤。此外,还与Apache Airflow集成,Apache Airflow是一个用于创作,调度和监控工作流的开源框架。

Step Functions和Apache Flow将于下个月推出。

Wood博士写道,“使用Step Functions,你可以自动将数据集发布到Amazon S3,使用SageMaker训练数据的ML模型,并部署模型进行预测,它会监视SageMaker(和Glue)作业,直到它们成功或失败,并转换到工作流程的下一步或进行重试。它包括内置的错误处理,参数传递,状态管理和可视控制台,可让你在运行时监控ML工作流程。”

这些改进对于SageMaker与添加三个新的内置算法相吻合,即用于可疑IP地址(IP Insights),用于高维对象的低维嵌入(Object2Vec)和无监督分组(K-means聚类)。AWS为Horovod、Uber开源深度学习框架谷歌的Tensorflow提供了新的支持,以及软件机器学习库scikit-learn和MLeap。

整体升级还包括可视化和与版本控制系统Git的集成,这有助于跟踪和协调文件中的更改。现在,开发人员可以将GitHub,AWS CodeCommit或自托管Git存储库与SageMaker notebook连接,以便克隆公共和私有存储库,或使用IAM,LDAP和AWS Secrets Manager在Amazon SageMaker中存储存信息。

最后,在安全方面,SageMaker现在符合亚马逊的系统和组织控制(SOC)1级,2级和3级审核。

Wood博士表示,“这些新功能,算法和认证将有助于为更多开发人员带来更多的机器学习工作负载。通过几乎完全专注于客户的要求,我们正在通过亚马逊SageMaker在现实世界中使机器学习变得有用和可用方面取得了实际进展,在AI方面,认证,实验和自动化并不总是你能想到的第一件事,但我们的客户告诉我们,这些功能可以进一步缩短构建,训练和部署模型所需的时间。”

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-11-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏互联网数据官iCDO

不懂Google Featured Snippets?搜索引擎C位出道的机会别再错过了!

引言: 本文将教您如何针对Google最近的一项更新来进行内容优化,提升搜索排名。

17530
来自专栏玉树芝兰

VOSviewer中文视频教程

因为这一篇文章,是我和几个研究生一起合作的。作者这一栏,最大可以写8个汉字。我让他们几个商议,选贡献度最高的2个人署名。结果他们头脑风暴的结果,就是起了个“V字...

56310
来自专栏大数据挖掘DT机器学习

PageRank算法(1):PageRank算法原理入门

一、PageRank简介 大名鼎鼎的PageRank算法是Google排名运算法则(排名公式)的一个非常重要的组成部分,其用于衡量一个网站好坏的标准。在揉合了...

40160
来自专栏斑斓

剖析大数据平台的数据分析

无论是采集数据,还是存储数据,都不是大数据平台的最终目标。失去数据处理环节,即使珍贵如金矿一般的数据也不过是一堆废铁而已。数据处理是大数据产业的核心路径,然后再...

35560
来自专栏xingoo, 一个梦想做发明家的程序员

推荐系统那点事 —— 什么是用户画像?

用户画像在大数据分析中是一种很有用的系统,它可以各种不同的系统中,起到很关键的作用。比如搜索引擎、推荐系统、内容系统等等,可以帮助应用实现千人千面、个性化、精...

66650
来自专栏斑斓

结束语与参考文献

四. 结束语 遗留系统的技术栈迁移可能是一个漫长艰苦的过程,它的难度甚至要高于新开发一个系统,这是因为我们常常会挣扎在新旧系统之间,并在不断的妥协、权衡中缓步前...

36070
来自专栏技术翻译

大数据建模方法的比较

在DT时代,互联网,智能设备和其他形式的信息技术的爆炸性增长使得数据以同样令人印象深刻的速度增长。这个时代的挑战似乎是如何对所有这些数据进行分类,组织和存储。

3.1K20
来自专栏机器学习和数学

Newton迭代法

今天和大家分享一下,之前抽空写的一篇论文,主要内容就是Newton迭代法,属于数学里面比较基础的,原理也不难,主要通过Newton迭代法可以体会到迭代的思想,以...

15460
来自专栏CSDN技术头条

提高排序效果,Twitter搜索相关架构解析

每天,全世界几百万的用户都在Twitter上搜索着发生的新鲜事。在重大事件期间,比如刚刚过去不久的2016欧洲杯,我们观察到在用户前来Twitter查看最新战况...

21570
来自专栏about云

大数据架构和模式(一): 大数据分类和架构简介

问题导读 1.本文对大数据做了哪些分类? 2.对数据进行分类后,如何将它与合适的大数据模式匹配? 如何将大数据分为不同的类别 大数据问题的分析和解决通常很复杂。...

300120

扫码关注云+社区

领取腾讯云代金券