专栏首页腾讯大数据的专栏Angel在TI-ONE机器学习平台上的应用

Angel在TI-ONE机器学习平台上的应用

分享嘉宾:姚冕 腾讯云 智能钛高级工程师

编辑整理:朱瑞杰

导读:本文将着重介绍开发者如何在腾讯云智能TI平台上快速的搭建Angel任务模型,快速的落地自己的业务场景。

分为以下三个主题:

  • 智能钛机器学习平台(TI-ONE)介绍,介绍一下解决的问题和搭建使用的流程
  • Angel on TI-ONE,介绍TI平台对Angel的支持
  • 快速搭建一个图算法任务流,具体实例演示图算法搭建

01

什么是TI-ONE

智能钛机器学习平台 ( TI-ONE ) 是为 AI 工程师打造的一站式机器学习服务平台,为用户提供从数据预处理、模型构建、模型训练到模型评估的全流程开发支持。智能钛机器学习平台内置丰富的算法组件,支持多种算法框架,满足AI从业者各种应用场景的需求,包括今天分享的主题,对Angel的支持。

对一个AI从业者来说,TI-ONE平台提供给其的价值能够匹配其所期望的搭建机器学习算法模型而面临的困境。

算法AI、算法工程师在搭建模型时需要考虑的问题非常多,例如对个人开发者而言:

  • 足够的GPU资源难以获得;
  • 由于框架日新月异,维护各种算法框架的繁琐性高;
  • 机器学习和深度学习的算法学习和搭建的门槛很高;
  • 调参和对比算法效果费时费力;
  • 实际业务复杂多变,版本更迭需要加快;

总之,由于上述各种原因,上线产品变成了费时且成本高昂的过程,TI-ONE就是为了针对的解决问题,由此应运而生。智能钛机器学习平台 ( TI-ONE ) 是为 AI 工程师打造的一站式机器学习服务平台,为用户提供从数据预处理、模型构建、模型训练到模型评估的全流程开发支持。智能钛机器学习平台内置丰富的算法组件,支持多种算法框架,满足AI从业者各种应用场景的需求,包括今天分享的主题,对Angel的支持。

针对上面的问题,TI-ONE平台提供了下列解决方案:

  • 算力即购即用,可针对单次任务购买算力资源,多余算力随时随退;
  • 拖拽式任务设计流程,自由根据任务绘制任务流;
  • 集成了业界常见机器(深度)学习框架,例如pytorch,tensorflow,pyspark,Angel等等,并进行了优化,缩短了用户训练调试时间;
  • 内置了业界常见的算法框架,例如CNN,RNN,LPA,聚类,可视化等等,大大降低了AI应用落地的门槛,能够让更多的从业者享受AI带来的红利;
  • 运行模式灵活,支持手工、定时、批量参数和重跑等模式,确保参数调整的即快又好;
  • 支持一键部署,便于对外提供服务;
  • 集成Notebook交互式建模十分便捷,助力开发者进行建模探索。

此外,我们也提供一些开源数据集资源,利于快速建模。

可视化建模

这里着重介绍可视化建模部分画布:

如此图所示,从左到右依次是算法框架组件,用户可以选用自己所需要的算法模块,包括输入,框架,可视化等等;中间画布是可视化画布图,用户将左侧选中的算法模块拖入,平台会帮助用户自动连线生成流程图,用户如果不满意,也可以自主修改流程图步骤;每点击一个中间画布的算法模块,右侧会生成菜单栏,包括此算法模块所有可以自定义的参数;最后用户只需要运行此流程图,平台就会根据流程图产生相应的结果,我们也可以看到运行日志和一些中间结果数据等等。

02

Angel on TI-ONE

1. TI-ONE内置的Angel算法

TI-ONE平台中含有两种Angel算法模块,一是Spark on Angel框架,二是Angel算法组件。前者是平台内置框架,运行用户自定义的代码;后者是平台提供的算法组件,分为图算法,PyTONA 算法,机器学习算法。我们可以在说明文档中看到每一种算法的使用说明,参数说明等。我们提供上图中的Angel算法,以供用户自由选择使用。

2. 用户自定义代码训练

下面介绍用户自定义代码训练Angel算法模块的使用方式:

首先用户从左侧拖拽Spark on Angel的组件至中间画布,此时点击组件右侧就会出现需要填写的参数,主要分为两类,一是组件参数,包括作业jar包,主类名,程序参数,这里就是用户的自定义代码部分,平台也支持从腾讯云中拉取用户代码;二是资源组件,包括Executor/Driver/Master/PS节点类型,这是腾讯云CVM实例机型,目前仅支持CPU机型,所有支持的机型均可以在右侧下拉框内看到。相比于传统的代码提交,本平台的方式显得十分简明直观。平台也提供了统一的日志查看入口,我们可以通过腾讯云CVM实例查看训练日志。

03

快速搭建一个图算法任务流

这里以GraphSage为例,展示如何在TI-ONE上应用Angel图计算。我们将该算法模块拖入中间画布,当然COS数据集需要提前拖入,平台将自动连接两者;右侧是我们拖入的GraphSage可以配置的参数,以及算法说明文档链接,我们可以根据此说明文件看到该算法在平台上的详细用法说明。算法IO参数就是我们所需要填写的参数类型,每一种参数类型的样例和维度等信息,我们都可以从说明文档中得知。

GraphSage算法IO参数,包括:边路径,特征路径,标签路径,预测值输出路径,embedding 输出路径,模型输出路径,验证标签路径,都支持自定义。除了上述IO参数,我们也支持自定义算法本身参数,常见的包括:batchSize,学习率,数据分区数,Ps分区数,均衡分区,Epoch,验证集比例,特征格式,采样邻居个数等等。资源参数也是可以自定义的参数,包括num-executors,spark.ps.instances,driver 节点资源类型等等,从最小的2核4G到64核256G都支持用户申请,使用结束后,这些资源也将自动释放,不需要手动维护资源。

跑完算法模型之后,我们可以查看日志,也支持根据日志的类型级别取查看各种日志;关于模型结果,我们将提供模型链接,直达用户COS。

总结下,从数据的上传到算法的选择和自定义、参数的填写、流程图的建立、日志的保存、模型的构建、结果的展示,都可以在TI-ONE平台上使用。

今天的分享就到这里,谢谢大家。

嘉宾介绍:

姚冕

腾讯云 | 智能钛高级工程师

扫码关注 | 即刻了解腾讯大数据技术动态

本文分享自微信公众号 - 腾讯大数据(tencentbigdata),作者:姚冕

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-01-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 腾讯广告算法大赛高分秘籍来袭!大咖直播详解 TI-ONE 与 Angel 框架

    2020腾讯广告算法大赛自开赛以来,已经吸引了近两万名技术人才关注。目前算法大赛已进入初赛阶段,针对参赛选手的真实问题反馈,为提升选手的赛事体验,特开启腾讯广告...

    腾讯智能钛AI开发者
  • 一篇文章搞懂腾讯云AI平台的人工智能IDE:TI-ONE

    本文为腾讯云 AI 平台技术负责人王才华博士“智能钛・一站式机器学习 TI-ONE:腾讯云上的机器(深度)学习IDE”的技术内容分享。

    腾讯技术工程官方号
  • 智能钛 TI-ONE 超强助力2020腾讯广告算法大赛

    2020腾讯广告算法大赛再度升级,腾讯广告携手腾讯云、腾讯大数据、腾讯招聘及腾讯高校合作等合作伙伴举办腾讯广告算法大赛,邀请产学研多方重磅专家,再次为广大技术人...

    腾讯智能钛AI开发者
  • 王才华:智能钛・一站式机器学习平台TI-ONE是什么?

    腾讯云AI平台技术负责人王才华博士在腾讯“云+未来”峰会的「开发者专场」做了主题为“智能钛・一站式机器学习 TI-ONE:腾讯云上的机器(深度)学习IDE”的技...

    云加社区
  • 【TI-ONE 与 Angel 框架介绍与演示】直播干货分享

    2020腾讯广告算法大赛除了在赛题、奖金池、评委阵容上实现了全面升级之外,更是拥有腾讯云智能钛机器学习平台(TI-ONE)、腾讯大数据 Angel 深度学习引擎...

    腾讯智能钛AI开发者
  • 从实操教学到赛题演练,腾讯专家亲授TI-ONE平台操作攻略!

    5月10日,我们迎来了“视”界直播周的首场直播——“2021腾讯广告算法大赛赛题解析”。直播现场,芦清林和熊江丰老师对本届赛事的两大赛题进行了深入浅出的解析,并...

    腾讯智能钛AI开发者
  • 百万奖金大赛即将开战,智能钛全面升级助你勇夺桂冠!

    2021腾讯广告算法大赛全新升级。携手国际顶会 ACM Multimedia,赛事升级!视频广告新命题,挑战升级!难度分级双赛道,赛制升级!百万奖池再加码,福利...

    腾讯智能钛AI开发者
  • 2020腾讯广告算法大赛风云再起,“逆算”赛题比拼来袭!

    2020腾讯广告算法大赛再度起航,即日起至5月31日,赛事正式面向全社会启动线上招募,一场算法之间的“巅峰对决”即将上演!

    腾讯智能钛AI开发者
  • 冠军奖金50万!2020腾讯广告算法大赛广发“英雄帖”

    由腾讯广告主办,腾讯云、腾讯大数据、腾讯招聘及腾讯高校合作等合作伙伴联袂举办的2020腾讯广告算法大赛现已启动,5月31日前皆可报名参加! 百万奖金池重磅加码...

    腾讯大数据

扫码关注云+社区

领取腾讯云代金券