首页
学习
活动
专区
工具
TVP
发布

腾讯Angel亮相VLDB,携全新Angel 2.0宣布加入LF深度学习基金会

同时,Angel正式宣布加入LF深度学习基金会,并将发布达万亿级维度特性计算的Angel 2.0。...Angel(https://github.com/Angel-ML/angel)是腾讯首个AI开源项目,由TEG数据平台部自主研发,正式开源于2017年6月。...Angel具有广泛的适用性和稳定性,模型维度越高时,平台便有越明显的优势。进入Angel2.0,凭借参数服务器的支持,Angel可以轻松扩展到千亿级维度特性。...来自小米、华为、新浪微博的工程师都曾参与Angel的开发,贡献了高质量的代码,还有海外人士志愿参与Angel英文文档建设,助力项目走向国际化。...万亿级维度特性计算 a)基于参数服务器,Angel可以轻松扩展到万亿级维度的模型 b)针对稀疏大模型的场景, Angel对底层数数学库进行了做了优化 c)Angel上的算法通过pulling/pushing

45210

腾讯Angel亮相VLDB,携全新Angel 2.0宣布加入LF深度学习基金会

同时,Angel正式宣布加入LF深度学习基金会,并将发布达万亿级维度特性计算的Angel 2.0。...Angel项目网址:https://github.com/Angel-ML/angel 是腾讯首个AI开源项目,由TEG数据平台部自主研发,正式开源于2017年6月。...Angel具有广泛的适用性和稳定性,模型维度越高时,平台便有越明显的优势。进入Angel2.0,凭借参数服务器的支持,Angel可以轻松扩展到千亿级维度特性。...来自小米、华为、新浪微博的工程师都曾参与Angel的开发,贡献了高质量的代码,还有海外人士志愿参与Angel英文文档建设,助力项目走向国际化。...万亿级维度特性计算    a)基于参数服务器,Angel可以轻松扩展到万亿级维度的模型     b)针对稀疏大模型的场景, Angel对底层数数学库进行了做了优化     c)Angel上的算法通过

11.1K70
您找到你想要的搜索结果了吗?
是的
没有找到

腾讯Angel亮相VLDB,携全新Angel 2.0宣布加入LF深度学习基金会

同时,Angel正式宣布加入LF深度学习基金会,并将发布达万亿级维度特性计算的Angel 2.0。...Angel(https://github.com/Angel-ML/angel)是腾讯首个AI开源项目,由TEG数据平台部自主研发,正式开源于2017年6月。...Angel具有广泛的适用性和稳定性,模型维度越高时,平台便有越明显的优势。进入Angel2.0,凭借参数服务器的支持,Angel可以轻松扩展到千亿级维度特性。...来自小米、华为、新浪微博的工程师都曾参与Angel的开发,贡献了高质量的代码,还有海外人士志愿参与Angel英文文档建设,助力项目走向国际化。...万亿级维度特性计算     a)基于参数服务器,Angel可以轻松扩展到万亿级维度的模型     b)针对稀疏大模型的场景, Angel对底层数数学库进行了做了优化     c)Angel上的算法通过

56341

专访 | Angel团队负责人黄明:历时半年,腾讯Angel为了开源都经历了些什么?

Github 上,其他团队的研发人员与 Angel 开发团队就问题进行探讨 这并不是 Angel 的首次亮相,去年 5 月,面向高维度机器学习的分布式计算框架 Angel 进入大众视野;12 月 18...(详见《腾讯 Angel 1.0 正式版发布:基于 Java 与 Scala 的机器学习高性能计算平台》) 在谈及新一代 Angel 平台时,黄明表示,Spark on Angel 是此次平台升级的一大亮点...这次腾讯开源 Angel 的时候,直接将 Spark on Angel 也开源了,希望能够带动更多的 Spark 工程师投入到机器学习的领域中,利用 Spark 和 Angel 配合来做机器学习。...另外,透露一下,在下一个小版本中,会推出 Spark Streaming on AngelAngel 也将可以支持在线学习。」...同时,Angel 的 PSServer 也不再只服务于 Angel 的 Client,只要能够实现 AngelPSClient 接口,其它机器学习框架也能可以接入 Angel

1.2K90

Spark 机器学习的加速器:Spark on Angel

3.L-BFGS的Spark on Angel实现 3.1 实现框架 Spark on Angel借助Angel PS-Service的功能为Spark引入PS的角色,减轻整个算法流程对driver的依赖...“轻易强快”的Spark on Angel Spark on AngelAngel为解决Spark在机器学习模型训练中的缺陷而设计的“插件”,没有对Spark做"侵入式"的修改,是一个独立的框架。...Spark on Angel没有对Spark中的RDD做侵入式的修改,Spark on Angel是依赖于Spark和Angel的框架,同时其逻辑又独立于Spark和Angel。...Spark on Angel能够成为如此轻量级的框架,得益于Angel对PS-Service的封装,使Spark的driver和executor可以通过PsAgent、PSClient与Angel PS...Angel项目Github:Angel,喜欢的话到Github上给我们Star。

4.1K41

腾讯重磅发布全栈机器学习平台Angel 3.0

腾讯首个AI开源项目Angel,正式发布一个里程碑式的版本:Angel 3.0。...图1 Angel与业界主流平台的对比 Angel系统架构 Angel 3.0系统架构如图2所示。...图4 Angel开源用户 Angel开源 图5 GitHub上Angel的统计信息以及Angel发表的论文 从2017年6月开源以来,Angel受到了较多的关注,目前在GitHub上Star数超过4200...为了后续维护和使用的方便,Angel拆分成8个子项目,统一放在Angel-ML目录下(https://github.com/Angel-ML):angel,PyTorch On Angel,sona,serving...在模型服务方面,Angel 3.0提供了一个跨平台的组件Angel Serving, Angel Serving不仅可以满足Angel自身的需求,还可以为其他平台提供模型服务。

2.9K50

面向高维度的机器学习的计算框架-Angel

简介 为支持超大维度机器学习模型运算,腾讯数据平台部与中国香港科技大学合作开发了面向机器学习的分布式计算框架——Angel 1.0。...Angel是使用Java语言开发的专有机器学习计算系统,用户可以像用Spark, MapReduce一样,用它来完成机器学习的模型训练。...另外,北京大学崔斌教授及其学生也共同参与了Angel项目的研发。 在实际的生产任务中,Angel在千万级到亿级的特征纬度条件下运行SGD,性能是成熟的开源系统Spark的数倍到数十倍不等。...友好的任务运行及监控: Angel也具有友好的任务运行方式,支持基于Yarn的任务运行模式。同时,Angel的Web App页面也方便了用户查看集群进度。...另外,项目组正在计划把Angel进行开源,我们会在后续合适的时机进行公开。

95970

Angel 3.1:高性能图计算的三体艺术

因此,在3.1.0版本中,Angel加强了自身的图计算能力。...4.PyTorch on Angel框架支持在GPU设备运行,可以利用硬件来加快计算密集型的图算法。...Angel Graph吸收了Angel参数服务器以及Spark、PyTorch优势,依托大数据生态,使得传统图计算、图表示学习和图神经网络“三位一体”,实现了高性能、高可靠、易用的大规模分布式图计算框架...Angel Graph通过Spark On Angel或Pytorch进行分布式训练,可以轻松支持十亿级顶点、千亿级边的大规模图计算。 2.端到端的图计算。...Angel Graph基于Spark On Angel的架构,可以无缝衔接Spark,以便利用Spark 的ETL能力,支持端到端的图学习。 3.传统图挖掘。

1.3K60

Angel 3.2.0新版本出炉!图计算能力再次加强

Angel项目的3.2.0版本发布啦! Angel是腾讯首个AI开源项目,经过多个版本迭代,于2019年在Linux基金会顺利毕业。...在3.1.0的版本中,Angel首次引入了图计算能力,提供了大量开箱即用的图算法,得到了业界广泛的关注和使用。...主要新特性如下: 图计算分层抽象与灵活扩展 Angel Angel3.1.0版本提供了大量开箱即用的图算法,但在使用过程中,部分用户反馈需要根据自己的业务场景做定制化的二次开发以及新算法的研发。...Angel是一个基于参数服务器模式的计算平台,在过去的版本中,我们对参数服务器做了大量的优化和功能上的增强:例如算法流程上的优化、自定义PS函数和计算下推等,使得Angel能够同时支撑这三大类算法,并且大部分算法都有着良好的性能...机器学习算法库丰富 Angel 新增十几种特征工程方法以及1个多任务学习算法esmm 想了解更多细节,请参考官方release notes: https://github.com/Angel-ML/angel

57950

腾讯Angel Graph团队刷新GNN最强榜单OGB世界纪录!

一、问题背景 Angel 图结构数据广泛存在于现实生活中。...七、关于我们 Angel 7.1 Angel Graph图计算团队 图9 Angel Graph系统架构图 Angel Graph是腾讯自研的高性能图计算框架,  吸收了Angel参数服务器、Spark...Angel Graph通过Spark On Angel或Pytorch进行分布式训练,可以轻松支持十亿级顶点、千亿级边的大规模图计算。 端到端的图计算。工业界的大数据生态多为Spark、Hadoop。...Angel Graph基于Spark On Angel的架构,可以无缝衔接Spark,以便利用Spark 的ETL能力,支持端到端的图学习。 传统图挖掘。...项目代码: https://github.com/Angel-ML/angel  本工作将很快部署在Angel Graph上,届时欢迎大家试用!

97830

Angel:深度学习在腾讯广告推荐系统中的实践

Angel机器学习平台 广告推荐系统与模型 模型训练和优化 优化效果 01 Angel机器学习平台 1....Fig2 Angel机器学习平台架构图 Angel机器学习平台设计时就考虑到了很多问题,首先是易用性,Angel机器学习平台编程接口简单,可快速上手使用,支持训练数据和模型的自动化切分,减少用户的干预...之后是灵活性,Angel实现了ANGEL_PS_WORKER和ANGEL_PS_SERVICE两种模式,ANGEL_PS_WORKER模式下模型的训练和推理服务由Angel平台自身的PS和Worker完成...而ANGEL_PS_SERVICE模式下,Angel只启动Master和PS,具体的计算交给其他计算平台(如Spark,TensorFlow)负责,Angel只负责提供Parameter Server的功能...on Angel)。

94832

腾讯开源项目Angel从LF AI基金会毕业

这意味着,Angel得到全球技术专家的认可,成为世界顶级的AI开源项目之一。 Angel是腾讯的首个AI开源项目,于 2016 年底推出、2017年开源。...LFAI & Angel Angel的特征工程模块基于Spark开发,增强了Spark的特征选择功能,同时使用特征交叉和重索引实现了自动特征生成。这些组件可以无缝地整合进Spark的流水线。...在模型服务方面,Angel 3.0提供了一个跨平台的组件Angel Serving,不仅可以满足Angel自身的需求,还可以为其他平台提供模型服务。...在生态方面,Angel也尝试将参数服务器(PS)能力共享给其他的计算平台,目前已经完成了Spark On Angel和PyTorch On Angel两个平台的建设。 ?...图计算性能对比 除了技术功能上的完善,Angel在社区生态上也日趋成熟。据了解,在全行业Angel拥有超过 100家公司和机构用户,其中包括微博、华为、微众银行、小米、滴滴等大型互联网企业。

63030

【技术分享】Spark机器学习的加速器:Spark on Angel

3.L-BFGS的Spark on Angel实现 3.1 实现框架 Spark on Angel借助Angel PS-Service的功能为Spark引入PS的角色,减轻整个算法流程对driver的依赖...“轻易强快”的Spark on Angel Spark on AngelAngel为解决Spark在机器学习模型训练中的缺陷而设计的“插件”,没有对Spark做"侵入式"的修改,是一个独立的框架。...Spark on Angel没有对Spark中的RDD做侵入式的修改,Spark on Angel是依赖于Spark和Angel的框架,同时其逻辑又独立于Spark和Angel。...23.png Spark on Angel能够成为如此轻量级的框架,得益于Angel对PS-Service的封装,使Spark的driver和executor可以通过PsAgent、PSClient与Angel...5.Spark on Angel开发 请参考Spark on Angel在Github上的 Tutorials。

1K30
领券