【重磅】新一代 Angel 正式开源,性能超越 XGBoost 和 Spark

经过漫长的准备和打磨,新一代的Angel终于开源了!新一代的Angel由腾讯和北京大学联合开发,兼顾业界的高可用性和学术界的创新性,欢迎分布式架构师算法工程师数据科学家一起深入使用和协同开发,激发机器学习领域更多的创新应用和良好生态。

Github:https://github.com/tencent/angel 欢迎大家Star,Fork和提PR。

作为一个高维度的分布式机器学习框架,Angel的第一次对外亮相是在去年的五月(面向高维度的机器学习计算框架-Angel),并在去年12月份KDDChina大会上(腾讯大数据第三代高性能计算平台-Angel),宣布将全面进行开源。

为了迎接对外开源,团队成员对Angel进行了多次重构和升级,可谓是淬火重炼。在此期间,Angel的架构反复改进,性能持续提升。开源前夕,它的性能已经超越了XGBoost和Spark。新一代的Angel,性能更快,功能更强,开发更方便。其改进主要集中在三方面:

生态性 引入PSAgent,支持PS-Service,便于接入其它机器学习框架。

函数性 融合函数式编程特性,自定义psFunc,利于开发复杂算法。

灵活性 支持Spark-on-Angel,Spark无需修改内核,运行于PS模式之上。

本文将从架构和性能两方面,对新一代Angel,做一个初步的介绍,让大家了解它的改进。关于更加具体和深入的介绍,还请点击文末“阅读原文”移步GitHub。

架构升级

1. PSService

在新一代的Angel开发中,我们对系统进行了一次重要的升级,引入了PSAgent,对PSServer的服务端进行隔离,从而提供了PS-Service的功能。升级后,系统的架构设计如下:

引入PSAgent后,PSClient不再直接和PSServer打交道了,而是通过PSAgent来沟通。作为新加的中间层PSAnget,有如下几个特性:

  • 对外屏蔽了PSServer中的模型分片路由以及模型重组等复杂细节,提供了封装好的模型操作接口
  • 内置了Hogwild!机制,包含模型缓存模型预取等性能优化
  • 提供了模型缓存(Cache)更新合并的功能,大大降低网络通信开销

PSAgent的引入,解耦了PSServer和Worker,使得Angel具备了PSService的能力。Angel的PSServer,不再只服务于Angel的Client,其它机器学习框架,只要实现AngelPSClient接口了,都能可以接入Angel。

PSService的抽象,为Angel接入Spark和深度学习框架,从架构的层面上提供了便利

2. psFunc

标准Parameter Server功能之一,就是要提供Model的拉取(pull/get)推送(push/update)。 很多早期PS,拿HBase,Redis等分布式存储系统,简单改改,进行模型的更新和获取,就搭建了一个简单的PS系统。

但实际应用中,算法对PSServer上的参数获取和更新,却远远不只这么简单,尤其是当复杂的算法需要实施一些特定的优化的时候,简单的PS系统,就完全不能应对这些需求了。

举个例子,有时候某些算法,要得到矩阵模型中某一行的最大值,如果PS系统,只有基本的Pull接口,那么PSClient,就只能先将该行的所有列,都从参数服务器上拉取回来,然后在Worker上计算得到最大值,这样会产生很多的网络通信开销,对性能会有影响。 而如果我们有一个自定义函数,每个PSServer在远程先计算出n个局部最大值,再交换确认全局最大值,这时只要返回1个数值就可以了,这样的方式,计算开销接近,但通信开销将大大降低。

为了解决类似的问题,Angel引入和实现psFunc的概念,对远程模型的获取和更新的流程进行了封装和抽象。它也是一种用户自定义函数(UDF),但都和PS操作密切相关的,因此被成为psFunc,简称psf,整体架构如下:

随着psFunc的引入,模型的计算,也会发生在PSServer端。PSServer也将有一定的模型计算职责,而不是单纯的模型存储功能。合理的设计psFunc,将大大的加速算法的运行。

3. Spark on Angel

作为目前非常流行的分布式内存计算框架,Spark 的核心概念是RDD,而RDD的关键特性之一,是其不可变性,它可以规避分布式环境下复杂的各种奇奇怪怪的并行问题,快速开发各种分布式数据处理算法。然而在机器学习的时代,这个设计反而制约了Spark的发展。因为机器学习的核心是迭代和参数更新,而RDD的不可变性,不适合参数反复多次更新的需求,因此诸多Spark机器学习算法的实现,非常的曲折和不直观。

现在,基于Angel提供的PSServicepsFunc,Spark可以充分利用Angel的PS,用最小的修改代价,具备高速训练大模型的能力,写出更加优雅的机器学习算法代码。

Spark on Angel实现的基本架构设计如下:

可以看出,该实现非常灵活,它对Spark没有任何侵入式的修改,是一种插件式设计,因此完全兼容社区Spark,对原生Spark的程序不会有任何影响。它的基本执行流程如下

  1. 启动SparkSession
  2. 初始化PSContext,启动Angel的PSServer
  3. 创建PSModelPool, 申请到PSVector
  4. 核心调用:在RDD的运算中,直接调用PSVector,进行模型更新。这将使得真正运行的Task,调用AngelPSClient,对远程PSServer进行操作。
  5. 终止PSContext
  6. 停止SparkSession

关于Spark on Angel的具体开发,可参考:Github《Spark on Angel编程手册》。在线上,基于真实的数据,我们对Spark on Angel和Spark的做了性能对比测试,结果如下:

显而易见,Spark on Angel能轻松获得30%或更多的加速比,越复杂的算法和模型,性能提高的比例越大。虽然PSServer会耗费了额外的资源,但是比起算法编写的便捷和性能的提升,这是划算的。对于Spark的老用户,这是低成本切入Angel的一个途径,也是算法工程师基于Spark实现高难度算法的优雅姿势。

Spark on Angel是Angel生态圈的第一个成员,后续会有更多基于PS-Service的框架接入,包括深度学习。

性能优势

新版本的Angel,添加了诸多新功能,最终的目的,就是让算法工程师能更加从容地进行算法优化,融入更多的算法的Trick,让算法的性能,得到了一个飞跃的提升。

1.GBDT

众所周知,XGBoost的强项之一,就是GBDT算法,性能飞快,使用简单,在众多算法比赛中,是选手们的最爱。尽管如此,Angel的GBDT算法,却还是超越了它,这是一个非常不错的性能背书。

  • 性能比较
  • 数据:腾讯内部某性别预测数据集,3.3×10^5 特征,1.2×10^8 样本
  • 详细文档:GBDT on Angel

2.LDA

众所周知,LDA是一个非常消耗资源的主题模型算法,新一代的Angel,在LDA上的性能,不但超越了Spark,也已经超越了之前开源过的Petuum。(由于Petuum已经不开源多时,所以比对数据,这里就不再贴出了)

  • 数据:PubMED
  • 详细文档: LDA on Angel

3.GD-LR

LR是广告推荐中广泛应用的一个算法,Angel分别提供了利用Gradient Descent、ADMM两种优化方法计算的LR算法。这两种算法,无论是耗费的资源,还是性能、收敛速度,都远比原生的Spark实现优越。

  • GD-LR
  • 数据: 腾讯内部某推荐数据,5×10^7 特征,8×10^7 样本
  • 详细文档: LR on Angel
  • ADMM-LR
  • 数据:腾讯内部某推荐数据,5千万特征,1亿样本

展望

一把好的宝剑,经过千锤百炼,讲究的是刚柔并济,不但削铁如泥,也要有极好的韧性,百折不断。同样的,一个好的开源项目,也是如此。它不但需要有强大的功能和性能,也需要有良好的适配性,能形成好的生态。

超大样本和超高维度的机器学习,在腾讯的多个真实生产环境中,有着非常普遍的应用场景,这是Angel的切入点,但不是终点和约束,在未来,Angel还将深入到图计算和深度学习领域,借助开源的力量,做出更多的探索,无论是Wider还是Deeper的模型,Angel都希望能像天使一样,在多个机器学习框架上为它们提速,帮助各个业务提升效果,为腾讯AI的发展插上翅膀。

文章来源:【腾讯大数据】微信号:tencentbigdata

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏null的专栏

可扩展机器学习——Spark分布式处理

注:这是一份学习笔记,记录的是参考文献中的可扩展机器学习的一些内容,英文的PPT可见参考文献的链接。这个只是自己的学习笔记,对原来教程中的内容进行了梳理,有些图...

3505
来自专栏程序员宝库

百度跨平台 AI 推理加速引擎 -- Anakin

AI技术包含训练和推理两个阶段。推理阶段的性能好坏既关系到用户体验,又关系到企业的服务成本,甚至在一些极端应用上(比如无人驾驶)直接关系到个人生命财产安全。目前...

774
来自专栏大数据挖掘DT机器学习

大数据分析:机器学习算法实现的演化

下面将会对机器学习算法的不同的实现范式进行讲解,既有来自文献中的,也有来自开源社区里的。首先,这里列出了目前可用的三代机器学习工具。 传统的机器学习和数据分析的...

41610
来自专栏专知

【干货】基于Apache Spark的深度学习

1343
来自专栏腾讯移动品质中心TMQ的专栏

代码质量与技术债

我们可以通过各种类型的检测手段来给出其质量高低的度量。但是,如果直接拿出一段源代码放在我们面前,问这段代码的质量好坏时,我们又该如何作答呢?

3204
来自专栏腾讯移动品质中心TMQ的专栏

腾讯TMQ在线沙龙回顾|测试建模

测试建模 活动时间:2017年4月27日 QQ群视频交流 活动介绍: TMQ在线沙龙第二十期分享 本次分享的主题是:测试建模 共有72位测试小伙伴报名参加活动,...

2017
来自专栏新智元

【TensorFlow开源2年官方回顾】下一个重要方向是分布式模型服务

【新智元导读】 TensorFlow Serving 开源的一年半时间里取得了许多进展和性能提升,包括开箱即用的优化服务和可定制性,多模型服务,标准化模型格式,...

2727
来自专栏量子位

陈天奇团队发布NNVM编译器,性能优于MXNet,李沐撰文介绍

夏乙 若朴 编译整理 量子位 出品 | 公众号 QbitAI 亚马逊和华盛顿大学今天合作发布了开源的端到端深度学习编译器NNVM compiler。 先提醒一句...

3986
来自专栏灯塔大数据

每周学点大数据 | No.47 BSP 模型下的单源最短路径

No.47期 BSP 模型下的单源最短路径 我们先来举个例子吧。单源最短路径也是一种很典型的图论问题,前面我们提到过,就是求解从一个源点到各个节点的最短距离,...

3105
来自专栏Spark学习技巧

超越Spark,大数据集群计算的生产实践

Spark拥有一个庞大的、不断增长的社区,还有在企业环境中不可或缺的生态系统。这些生态系统提供了不同生产环境案例所需的许多功能。一般来说,Spark应用做的是机...

8316

扫码关注云+社区