专栏首页腾讯开源的专栏腾讯首个AI开源项目Angel发布3.0里程碑版本,迈向全栈机器学习平台

腾讯首个AI开源项目Angel发布3.0里程碑版本,迈向全栈机器学习平台

2019年8月22日,腾讯首个AI开源项目Angel正式发布3.0版本。Angel 3.0尝试打造一个全栈的机器学习平台,功能特性涵盖了机器学习的各个阶段:特征工程、模型训练、超参数调节和模型服务。

Angel 3.0概览

(红色表示新增特性,白色表示已有但在持续改进的特性)

Angel的特征工程模块基于Spark开发,增强了Spark的特征选择功能,同时使用特征交叉和重索引实现了自动特征生成。这些组件可以无缝地整合进Spark的流水线。为了让整个系统更加的智能,Angel 3.0新增了超参数调节的功能,目前支持3种算法:随机搜索、网格搜索和贝叶斯优化在模型服务方面,Angel 3.0提供了一个跨平台的组件Angel Serving, Angel Serving不仅可以满足Angel自身的需求,还可以为其他平台提供模型服务。

在生态方面,Angel也尝试将参数服务器(PS)能力赋能给其他的计算平台,目前已经完成了Spark On Angel和PyTorch On Angel两个平台的建设。这两个平台各有优势和侧重, Spark On Angel使用的是Angel内置的算法核心,主要负责常见推荐领域的机器学习算法和基础图算法。 PyTorch On Angel使用PyTorch作为计算核心,主要负责推荐领域深度学习算法和图深度学习算法。

Angel 3.0架构

Angel是基于参数服务器架构的分布式计算平台,致力于解决稀疏数据大模型训练以及大规模图数据分析问题。它由腾讯与北京大学联合研发,兼顾了工业界的高可用性和学术界的创新性。自2016年年初在腾讯内部上线以来,Angel 已应用于微信支付、QQ、腾讯视频、腾讯社交广告及用户画像挖掘等业务。

2017年6月

Angel 在 Github 上低调开源。开源两周,这个项目在 Github 上已收获 183 Watch,1693 Star,389 Fork,也吸引了许多业界工程师关注与贡献。

2018年9月

Angel 2.0版本发布,支持千亿级模型维度训练,同时算法库也更加丰富,首次引入了深度学习算法和图算法。同年,Angel加入Linux旗下深度学习基金会(现已更名为 LF AI 基金会(LF AI Foundation)),结合基金会成熟的运营,全面升级的Angel 2.0与国际开源社区继续深入互动,致力于让机器学习技术更易于上手研究及应用落地的目标。

截止目前

Angel在GitHub上Star数已超过4200,Fork数超过1000。Angel项目目前总共有38位代码贡献者,其他包括8位committer,他们总共提交了超过2000个commit。而腾讯开源在GitHub上整体的项目数也已突破80个,涵盖AI、云计算、安全等多个领域,累计获得了超过23万Star。

从1.0到3.0,Angel从一个单一的模型训练平台发展到涵盖机器学习各个流程,包含自己生态的通用计算平台,代码量也超过了50万行。

为了后续维护和使用的方便,Angel将拆分成8个子项目,统一放在Angel-ML目录下:它们是angel、PyTorch On Angel、sona(Spark On Angel)、serving、automl、mlcore、math2和format。

Angle 正式开源

Github 开源地址:

https://github.com/Angel-ML

(点击文末阅读原文直接访问)

请给 Angle  一个 Star !

欢迎提出你的 issue 和 PR!

Angle 国内镜像地址:

https://git.code.tencent.com/Angel-ML

(登录后才能访问公开项目)

腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像

本文分享自微信公众号 - 腾讯开源(tencentopen)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-08-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • TensorFlow.js:零基础在小程序上实现机器学习

    微信日前官宣小程序支持AR功能。欧莱雅集团旗下阿玛尼美妆的官方微信小程序——“阿玛尼美妆官方精品商城”成为首个支持动态AR试妆的小程序,标志着全新的线上零售体验...

    新智元
  • 《智能机器如何思考》:自动驾驶与DNN的前世今生(赠书)

    在过去十年中,深度神经网络取得了突破性进展,从微软亚洲研究院在ImageNet图像识别挑战赛中使用的残差网络,到DeepMind的alphaGo围棋算法,它们都...

    新智元
  • 浙大博士 130 页论文,教你用人工智能挑西瓜

    大数据表明,今年夏天,是 140 年来最热的夏天。「热」已成为全球热词,我们经历了最热六月,刚送走最热七月,正在进入最热八月……

    新智元
  • ACL 2019全程回顾:自然语言处理趋势及NLP论文干货解读

    本周,在佛罗伦萨举行的ACL 2019上,参会者中有一个人感慨良多,他就是Alexa AI的机器学习科学家Mihail Eric。

    新智元
  • 如何入门机器学习?这里有一份来自英伟达计算机科学家的课程清单

    在机器学习的入门和进阶过程中,如果有一份好的 学习教程尤其是学习视频,学习效果无疑会事半功倍。就职于英伟达人工智能应用团队的计算机科学家 Chip Huyen ...

    AI研习社
  • 《李宏毅机器学习完整笔记》发布,Datawhale开源项目LeeML-Notes

    【导读】关于机器学习的学习资料从经典书籍、免费公开课到开源项目应有尽有,可谓是太丰富啦,给学习者提供了极大的便利。但网上比比皆是的学习资料大部分都是英文材料,这...

    昱良
  • 权力的游戏使用Tensorflow中的LSTM和Recurrent单元生成剧集脚本

    权力的游戏第8季确实令人失望,似乎导演无法学习前几季的模式,但担心的是,LSTM从不会错过任何模式,并会帮助提供一个更好的脚本,一个AI生成的脚本。

    代码医生工作室
  • 给机器学习面试者的十项建议 | 面试官角度

    在过去的一年里,我采访了一些在Expedia Group担任数据科学职位的人,职位从入门级到高级的都有。我想分享我的经验,这些经验适用于对申请数据科学职位的人。...

    AI研习社
  • 对抗样本到底是bug还是特征?Reddit热议的MIT论文再度引发大讨论

    5月6日,MIT的Andrew Ilyas团队发表了一篇论文,题为《对抗样本不是Bug, 而是特征 》。文中概述了两组实验。首先,他们表明,在对抗性实例上训练的...

    新智元
  • 数据挖掘面试题之:生成模型 VS 判别模型

    最近,milter在进行算法工程师的面试,发现面试官特别钟爱生成模型和判别模型相关的问题,为了能够和面试官谈笑风生,milter精心整理了面试官可能问到的相关问...

    AI研习社

扫码关注云+社区

领取腾讯云代金券