专栏首页腾讯大数据的专栏Angel 3.2.0新版本出炉!图计算能力再次加强

Angel 3.2.0新版本出炉!图计算能力再次加强

Angel项目的3.2.0版本发布啦!

Angel是腾讯首个AI开源项目,经过多个版本迭代,于2019年在Linux基金会顺利毕业。作为面向机器学习的第三代高性能计算平台,Angel提供了全栈的机器学习能力,并致力于解决高维稀疏大模型训练以及大规模分布式图计算的问题

在3.1.0的版本中,Angel首次引入了图计算能力,提供了大量开箱即用的图算法,得到了业界广泛的关注和使用。本次版本发布,Angel继续加强了图计算的能力,相较于上个版本,我们做了很多优化并提供了一些新的特性,感兴趣的话就赶紧下载体验吧,期待你的反馈哦。

主要新特性如下:

图计算分层抽象与灵活扩展

Angel

Angel3.1.0版本提供了大量开箱即用的图算法,但在使用过程中,部分用户反馈需要根据自己的业务场景做定制化的二次开发以及新算法的研发。因此我们对图计算框架做了系统性的三层抽象:图计算引擎层、图操作算子层以及图算法层,并在图操作算子层提供了常用的十几种算子抽象如init、get、walker、sample等以及自定义算子接口。基于上述抽象,用户可以快速、灵活地在算法层扩展或实现自定义图算法。

参数服务器与MPI混合运行模式

Angel

图算法种类繁多,主要可分为三大类:传统图挖掘算法、图表示学习算法和图神经网络算法,每一种算法都有着不同的计算流程,对计算平台的要求也不一样,这导致图计算解决方案非常的碎片化,很难在一个平台中支持所有类型的算法。Angel是一个基于参数服务器模式的计算平台,在过去的版本中,我们对参数服务器做了大量的优化和功能上的增强:例如算法流程上的优化、自定义PS函数和计算下推等,使得Angel能够同时支撑这三大类算法,并且大部分算法都有着良好的性能,但仍然有少部分算法计算不够高效,这主要受限于参数服务器模式的一些局限性:例如数据交互不够直接、重复存储浪费内存空间、大规模任务连接数爆炸,稠密模型聚合效率不是最优等。鉴于以上原因,我们在3.2.0版本中开始探索下一代图计算框架,尝试将参数服务器模式和MPI模式优势结合起来,具体做法是将Angel PS以嵌入式的方式启动在Worker(或Executor)中,并优化网络通信拓扑,节点之间可以根据算法特征采用最高效的通信方式,在一个模型中可以同时使用PS模式和MPI常见的环状通信拓扑等。这个功能特性目前还处在expermental阶段,3.2.0版本将会首先在游走类算法上做一些尝试。

自适应的模型分区方式

Angel

模型的分区路由一般有range和hash两种方式,它们有各自的优缺点,比如range分区方式占用内存少,计算快但是容易造成计算上的负载不均衡且往往需要节点id是数值类型且编码在连续的空间才会比较高效,需要在图训练之前就提前做一些预处理的操作。而hash分区方式能够解决负载不均衡问题,且能支持任意类型的节点id,不需要对图做编码预处理的工作,该分区方式图算法的增量训练也很容易支持,但是其内存占用较多。我们对参数服务器模型分区路由方式做了优化,能够同时支持range和hash的分区,在实际的图算法训练过程中可以根据不同的算法计算特性自适应地选择合适的模型分区方式,有效解决图训练预处理、存储和计算上的负载不均衡以及增量训练等问题。

支持复杂异构Graph Embedding

Angel

现实很多业务场景中图网络往往是复杂异构的,一些常见的同构GNN算法很难学到有效的表达,因此需要更加复杂的异构Graph Embedding来解决问题。而图计算平台支持复杂异构GNN算法往往面临着多重挑战:比如复杂异构网络存储问题,网络中可能存在多种不同类型的节点,每个节点又可能有多种属性,每个节点对还可能有多种类型的边以及边有多种属性; 又比如复杂异构网络的计算问题,由于存在多种不同类型的节点、边以及属性,需要提供多种能够支撑复杂操作的算子及其组合进行计算。我们丰富和拓展了图的存储结构和计算模式,针对复杂操作提供灵活的自定义ps func接口,能够良好的支持复杂异构图网络的存储和计算,并且能够支持高维稀疏的图节点特征,可以很容易地进行异构图的表征学习。同时我们也新增了HAN、异构GAT、异构GraphSage、IGMC边预测以及异构Bipartite GraphSage等5个开箱即用的异构图神经网络算法。

千亿边大图的高性能优化

Angel

大规模图算法在容错和计算性能上相对的要求也更高,我们针对千亿边大图训练做了专门的性能优化并在现网的共享集群做了性能测试,在K-core和common friends两个算法的测试结果为在内存消耗降低30%的同时,计算性能还有3倍的提升。

机器学习算法库丰富

Angel

新增十几种特征工程方法以及1个多任务学习算法esmm

想了解更多细节,请参考官方release notes:

https://github.com/Angel-ML/angel/releases/tag/Release-3.2.0

[请复制链接到浏览器,或点击阅读原文查看]

扫码关注 | 即刻了解腾讯大数据技术动态

本文分享自微信公众号 - 腾讯大数据(tencentbigdata)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-07-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 道器相融,由 Angel 谈一个优秀机器学习平台的自我修养

    随着人工智能时代来临,大数据平台发生了新的变化,企业该如何更好地利用机器学习、深度学习等人工智能技术从实时数据中高效挖掘有价值的信息?

    腾讯开源
  • 腾讯首个AI开源项目完成3.0版本迭代,从顶级开源基金会毕业

    最新消息,腾讯开源项目Angel从LF AI基金会毕业,也是中国首个从LF AI基金会毕业的开源项目。

    量子位
  • 腾讯Angel升级:加入图算法,支持十亿节点、千亿边规模!中国首个毕业于Linux AI基金会的开源项目

    【导语】Angel 是腾讯的首个AI开源项目,于 2016 年底推出、2017年开源。近日,快速发展的 Angel 完成了从 2.0 版本到 3.0 版本的跨...

    AI科技大本营
  • 超50万行代码、GitHub 4200星:腾讯重磅发布全栈机器学习平台Angel 3.0

    【导读】腾讯首个AI开源项目Angel,正式发布一个里程碑式的版本:Angel 3.0。这是一个全栈机器学习平台,功能特性涵盖了机器学习的各个阶段,超过50万...

    腾讯大数据
  • 腾讯重磅发布全栈机器学习平台Angel 3.0

    ? 腾讯首个AI开源项目Angel,正式发布一个里程碑式的版本:Angel 3.0。这是一个全栈的机器学习平台,功能特性涵盖了机器学习的各个阶段,超过50万行...

    腾讯技术工程官方号
  • 【重磅】新一代 Angel 正式开源,性能超越 XGBoost 和 Spark

    新一代的 Angel 由腾讯和北京大学联合开发,兼顾业界的高可用性和学术界的创新性,欢迎分布式架构师,算法工程师和数据科学家一起深入使用和协同开发,激发机器学习...

    腾讯大数据
  • 50万行代码量,腾讯开源框架Angel3.0发布,迈向全栈机器学习平台

    近年来,随着深度学习技术的发展,越来越多的科技巨头开发自己的机器学习平台。昨日,华为宣布将与明年第一季度开源自家的 AI 框架 MindSpore,引起极大关注...

    机器之心
  • 腾讯首个AI开源项目Angel发布3.0里程碑版本,迈向全栈机器学习平台

    ? 2019年8月22日,腾讯首个AI开源项目Angel正式发布3.0版本。Angel 3.0尝试打造一个全栈的机器学习平台,功能特性涵盖了机器学习的各个阶段...

    腾讯开源
  • 专访 | Angel团队负责人黄明:历时半年,腾讯Angel为了开源都经历了些什么?

    机器之心原创 作者:高静宜 2017 年 6 月 16 日,腾讯新一代高性能计算平台 Angel 在 Github 上低调开源。开源两周,这个项目在 Githu...

    机器之心
  • 腾讯明星AI开源项目再迭代:QQ微信都在用,全栈机器学习能力,已4200星

    没错,也是腾讯第一个开源的AI项目。目前在GitHub上Star数已超过4200,Fork数超过1000。

    量子位
  • 道器相融,由 Angel 谈一个优秀机器学习平台的自我修养(下)

    随着人工智能时代来临,大数据平台发生了新的变化,也提出了更高的要求。Spark等大数据平台多是为通用数据处理而设计的,并非专用于机器学习任务,企业该如何更好地利...

    腾讯开源
  • 跻身世界顶级AI项目:腾讯机器学习平台Angel从LF AI基金会毕业

    Angel 是腾讯的首个 AI 开源项目,于 2016 年底推出、2017 年开源。作为面向机器学习的第三代高性能计算平台,Angel 致力于解决稀疏数据大模型...

    机器之心
  • 【TI-ONE 与 Angel 框架介绍与演示】直播干货分享

    2020腾讯广告算法大赛除了在赛题、奖金池、评委阵容上实现了全面升级之外,更是拥有腾讯云智能钛机器学习平台(TI-ONE)、腾讯大数据 Angel 深度学习引擎...

    腾讯云TI平台
  • 腾讯开源项目Angel从LF AI基金会毕业,成为世界顶级AI项目

    北京时间12月20日,Linux基金会旗下面向AI领域的顶级基金会——LF AI基金会(Linux Foundation Artificial Intelli...

    腾讯开源
  • Angel:深度学习在腾讯广告推荐系统中的实践

    导读:Angel是腾讯自研的分布式高性能的机器学习平台,支持机器学习、深度学习、图计算以及联邦学习等场景。Angel的深度学习平台已应用在腾讯的很多个场景中。...

    腾讯大数据
  • 《你问我答》第三期 |关于Angel、中间件、TBase以及JDK升级的问题

    ? 各位小伙伴们大家好,我们又见面啦~ 不知不觉 这已经是《你问我答》栏目的第三期了 前两周,我们的专家天团解答了大家许多疑问 介绍了腾讯大数据多年来在开源方...

    腾讯大数据
  • 与 TensorFlow 功能互补的腾讯 angel 发布 3.0 :高效处理千亿级别模型

    近日,紧跟华为宣布新的 AI 框架即将开源的消息,腾讯又带来了全新的全栈机器学习平台 angel3.0。新版本功能特性覆盖了机器学习的各个阶段,包括:特征工程、...

    AI科技评论
  • 腾讯开源全栈机器学习平台 Angel 3.0,支持三大类型图计算算法

    10 月 18 日,2019 中关村论坛平行论坛 ——AI WORLD 2019 世界人工智能峰会在北京启幕。新智元杨静、科大讯飞胡郁、微软王永东、华为王成录、...

    新智元
  • 腾讯开源项目Angel从LF AI基金会毕业

    12月20日,Linux基金会旗下面向AI领域的顶级基金会——LF AI基金会(Linux Foundation Artificial Intelligence...

    AI研习社

扫码关注云+社区

领取腾讯云代金券