基于腾讯开源 Angel 的 LDA* 入选国际顶级学术会议 VLDB

2017年8月27日-9月1日, 数据库领域的国际顶级学术会议VLDB(Very Large DataBase) 在德国慕尼黑召开。 腾讯开源项目Angel团队的论文《LDA*:A Robust and Large-scale Topic Modeling System》,入选了今年VLDB的research track,并获邀在大会上进行Oral Presentation。

Angel:高性能分布式机器学习平台

Angel是腾讯对外开源的第一个AI项目,是一个基于参数服务器(Parameter Server)理念开发的高性能分布式机器学习平台。它由Java和Scala开发,能在社区的Yarn上直接调度运行,并支持Spark on Angel,未来将会支持图计算和深度学习框架集成。

Angel于2017年6月16日开源,Star数三天过千,受到了广泛的用户好评,吸引了来自华为、微博、小米和上海外企的开发者参与项目,并在2017 全球机器学习技术大会、Strata China 2017、新浪微博机器学习团队等线下分享,吸引了大量的机器学习爱好者。

Angel由腾讯TEG数据平台部和北京大学联合开发,兼顾了工业界的高可用性和学术界的创新性。之前已经在SIGMOD、NSR、ICDE等顶级国际会议上发表了多篇论文,这次在VLDB发表Paper,是又一个重要的标志性事件。

LDA* : 基于Angel的大规模高性能主题模型系统

主题模型是一个对文本建模的概率图模型。在主题模型中,每个文档被看成一个话题(Topic) 的分布,将每个话题看成是一个在词语上的分布(Topic Distribution of Words)。通过主题模型对文本进行建模,文档被表示成一个话题分布(Topic Probability),从而可以对文档进行聚类等分析。

主题模型的应用场景非常广泛,可以用于多个领域,比如推荐系统、广告CTR预估,用户兴趣分类……但是在工业界的场景下训练主题模型,经常会遇到三个问题:

  1. 训练的数据规模非常大,2T大小的样本,3000亿个Token,要求在几个小时内跑出结果
  2. 数据和参数复杂,在各种各样的数据和参数配置下,都必须要有较好的性能
  3. 系统需要具有较高的可扩展性和鲁棒性,才能应对现网集群中的复杂情况

为了解决这些问题,LDA 基于Angel,从模型和工程上都进行了针对性优化,得益于Angel开放的参数服务器架构、良好的扩展性以及优秀的编程接口设计,解决了在复杂的数据环境中采样性能的鲁棒性以及*词倾斜分布带来的巨大网络通信流量这两个难题,具备了广泛的适用性和良好的性能,可以轻松处理TB级别的数据和十亿维度的主题模型。

优化1:基于吉布斯采样的Hybrid Sampler

吉布斯采样是一种基于马尔科夫蒙特卡罗的采样方法,常常用于求解大规模主题模型,但是在大规模数据以及话题个数较多的情况下,吉布斯采样的求解效率非常低下。

目前业界已有的解决方法,包括Sparse-Aware Samplers(简称SA)和Metropolis Hastings Samplers(简称MH)。SA采样法使得采样复杂度降低到O(Kd),Kd的上限是文档的长度L_d和话题个数K中的较小值;MH采样法的采样复杂度为O(1),但是因为存在接受率π,概率上需要O(1/π)次采样才能得到一个样本;而SA采样法每次采样都能够产生一个样本。

因此,SA采样法和MH采样法之间存在一个tradeoff。Angel团队做了详尽的实验找到了SA、MH两种采样法的交叉点,LDA* 有效地将F+LDA(SA采样法)和WarpLDA(MH采样法)结合起来,设计了一个新的Hybrid Sampler。

它采用了两个启发式的规则来构建这个Hybrid Sampler。在第一个规则中,将数据集分成两个部分,文档较长的数据集和文档较短的数据集,然后使用F+LDA来采样较短的文档集合,使用WarpLDA采样较长的文档集合;在第二个规则中,将两个具有不同收敛速度的sampler结合起来,在一次迭代中,每个token话题的采样都能产生一个样本,因此对于WarpLDA来说,需要动态地设定其MH步长,而对于F+LDA来说,则不需要进行任何改变。

根据实验,Hybrid Sampler在所有的数据集上和参数配置下,都能获得最好的性能。

优化2:非对称架构,实现模型并行

主题模型的训练常常需要大规模的数据集和较大的话题个数,因此分布式训练常常用于进行大规模的主题模型训练。已有的系统,包括LightLDA,YahooLDA和Petuum,其实都是采用参数服务器的架构来进行分布式训练,但是由于词分布的倾斜特性,标准的参数服务器架构会在Worker端产生较大的网络通信开销,因此每个worker几乎都需要把整个词-话题(Word-Topic)矩阵模型从PSServer上拉取下来,这个对性能会有很大的影响。

在实际的测试下,由于词分布的倾斜性,导致大部分的网络开销都产生于长尾的词语,这些长尾的词语产生的网络开销造成了在数据量和模型参数较大时带来的性能损失。因此,LDA 对于这类长尾词语进行了特殊的处理,将一部分长尾词语的采样推送到PSServer端进行,从而避免了对词-话题矩阵的拉取操作。由于在这样的架构中,PSServer不仅仅作为一个分布式存储,还参与了一定的计算任务,从而某种程度上实现了模型并行,这种架构为非对称架构。依托于Angel良好的接口设计和psFunc功能,LDA的这种非对称架构可以非常轻松的实现,而不用对Core进行任何的修改。

性能数据:在腾讯真实的推荐数据集上最高是原有系统的 9 倍

为了进行全面的评测,LDA 和之前开源的Petuum,以及微软的LightLDA,在2个数据集上进行对比。一个是开源的PubMED,一个是腾讯真实的推荐数据集。实验结果表明,在数据量越大的情况下,LDA 的优势越明显。

  • PubMED数据集上,LDA*的速度,分别是Petuum和LightLDA的5倍
  • 在腾讯真实的推荐数据集上,LDA* 是Petuum的9倍,是lightLDA的2.6倍。

大规模生产数据 为了更好的体现LDA 的性能,在腾讯内部生产集群上,LDA 使用更大的数据集进行训练。从下图的数据集可以看到,最大的一个数据集有3000亿个token,大约1.8TB的数据量。在所有的任务中,话题数设置为8000。

  • 数据集规模如下
  • 测试性能如下 LDA* 能够在资源充足的情况下,能得到非常好的扩展性,并且能够扩展至数千个worker,即便对TB级别的数据进行训练,时间可以控制在小时级别,很好的满足了生产系统的需要。

请在Github上Star Angel项目,与我们探讨

除了LDA算法,Angel还提供了Logistic Regression、Matrix Factorizaiton、GBDT等业内常用的高性能算法。未来,伴随着Angel开源的发展和推广,希望业界会有更多的公司,能够从Angel中受益,轻松拥有构建大规模模型的能力。也欢迎对机器学习有兴趣的同仁一起贡献代码。

Github: https://github.com/tencent/angel

转载自【腾讯开源】公众号,腾讯官方开源资讯,期待您的关注。

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小小挖掘机

云计算资源配置的联合优化研究

本文介绍一篇采用随机规划模型来进行虚拟机和带宽资源配置的论文。这个成果来自于南洋理工大学计算机工程学院Chase 、Niyato两位学者的研究,该文章于2017...

3437
来自专栏新智元

IBM 取得内存计算新突破,AI 训练能耗降低 80 倍

1663
来自专栏灯塔大数据

建立数据场的七大技能

摘要:成为数据极客,建立自己的数据场需要哪些技能呢?遇到普通的数据,通过SQL做分析。如果数据量比较大,可以使用Hadoop等大数据框架处理。在深入挖掘上,可...

3387
来自专栏大数据挖掘DT机器学习

分布式机器学习的故事

一个新时代 起源 分布式机器学习是随着“大数据”概念兴起的。在有大数据之前,有很多研究工作为了让机器学习算法更快,而利多多个处理器。这类工作通常称为“并行计算”...

3829
来自专栏编程

Machine Learning最小可迭代产品No.75

报告各位首长,我参与的第二个项目顺利上线啦~ 棒棒,又一次感觉自己做的东西是有价值的,这个项目是一个平台类产品,专注于提高线下零售的实施效率,希望后面的迭代会越...

1659
来自专栏媒矿工厂

PCS2018:360度全景视频流媒体传输系统【附PPT全文】

作为图像/视频编码领域的顶级会议之一,第33届图像编码研讨会(PCS,Picture Coding Symposium)于2018年6月24号至6月27号在加州...

752
来自专栏新智元

【AI大红包】Facebook发布张量理解库,几分钟自动生成ML代码

新智元报道 来源:research.fb.com 编译:文强 【新智元导读】Facebook今天宣布发布Tensor Comprehensions,能够...

33515
来自专栏PPV课数据科学社区

分布计算 | 大数据机器学习系统研究进展

要实现高效的大数据机器学习,需要构建一个能同时支持机器学习算法设计和大规模数据处理的一体化大数据机器学习系统。研究设计高效、可扩展且易于使用的大数据机器学习系统...

3435
来自专栏腾讯大数据的专栏

效果广告点击率预估实践:在线学习

1.引言 技术钻研如逆水行舟,不进则退。公司的广告业务发展非常迅猛,有目共睹,激烈的外部竞争和客户越来越高的期望,都要求我们的技术不断进步;与此同时,我们也的确...

1845
来自专栏新智元

新型 GPU 芯片:可在手机跑人工智能程序

科技日报北京2月3日电 (记者刘园园)你想让自己的手机变成可以随时随地执行人工智能计算的“神器”吗?一种新型图形处理器(GPU)芯片让这个梦想走进了现实。据麻省...

3388

扫码关注云+社区