基于腾讯开源 Angel 的 LDA* 入选国际顶级学术会议 VLDB

2017年8月27日-9月1日, 数据库领域的国际顶级学术会议VLDB(Very Large DataBase) 在德国慕尼黑召开。 腾讯开源项目Angel团队的论文《LDA*:A Robust and Large-scale Topic Modeling System》,入选了今年VLDB的research track,并获邀在大会上进行Oral Presentation。

Angel:高性能分布式机器学习平台

Angel是腾讯对外开源的第一个AI项目,是一个基于参数服务器(Parameter Server)理念开发的高性能分布式机器学习平台。它由Java和Scala开发,能在社区的Yarn上直接调度运行,并支持Spark on Angel,未来将会支持图计算和深度学习框架集成。

Angel于2017年6月16日开源,Star数三天过千,受到了广泛的用户好评,吸引了来自华为、微博、小米和上海外企的开发者参与项目,并在2017 全球机器学习技术大会、Strata China 2017、新浪微博机器学习团队等线下分享,吸引了大量的机器学习爱好者。

Angel由腾讯TEG数据平台部和北京大学联合开发,兼顾了工业界的高可用性和学术界的创新性。之前已经在SIGMOD、NSR、ICDE等顶级国际会议上发表了多篇论文,这次在VLDB发表Paper,是又一个重要的标志性事件。

LDA* : 基于Angel的大规模高性能主题模型系统

主题模型是一个对文本建模的概率图模型。在主题模型中,每个文档被看成一个话题(Topic) 的分布,将每个话题看成是一个在词语上的分布(Topic Distribution of Words)。通过主题模型对文本进行建模,文档被表示成一个话题分布(Topic Probability),从而可以对文档进行聚类等分析。

主题模型的应用场景非常广泛,可以用于多个领域,比如推荐系统、广告CTR预估,用户兴趣分类……但是在工业界的场景下训练主题模型,经常会遇到三个问题:

  1. 训练的数据规模非常大,2T大小的样本,3000亿个Token,要求在几个小时内跑出结果
  2. 数据和参数复杂,在各种各样的数据和参数配置下,都必须要有较好的性能
  3. 系统需要具有较高的可扩展性和鲁棒性,才能应对现网集群中的复杂情况

为了解决这些问题,LDA 基于Angel,从模型和工程上都进行了针对性优化,得益于Angel开放的参数服务器架构、良好的扩展性以及优秀的编程接口设计,解决了在复杂的数据环境中采样性能的鲁棒性以及*词倾斜分布带来的巨大网络通信流量这两个难题,具备了广泛的适用性和良好的性能,可以轻松处理TB级别的数据和十亿维度的主题模型。

优化1:基于吉布斯采样的Hybrid Sampler

吉布斯采样是一种基于马尔科夫蒙特卡罗的采样方法,常常用于求解大规模主题模型,但是在大规模数据以及话题个数较多的情况下,吉布斯采样的求解效率非常低下。

目前业界已有的解决方法,包括Sparse-Aware Samplers(简称SA)和Metropolis Hastings Samplers(简称MH)。SA采样法使得采样复杂度降低到O(Kd),Kd的上限是文档的长度L_d和话题个数K中的较小值;MH采样法的采样复杂度为O(1),但是因为存在接受率π,概率上需要O(1/π)次采样才能得到一个样本;而SA采样法每次采样都能够产生一个样本。

因此,SA采样法和MH采样法之间存在一个tradeoff。Angel团队做了详尽的实验找到了SA、MH两种采样法的交叉点,LDA* 有效地将F+LDA(SA采样法)和WarpLDA(MH采样法)结合起来,设计了一个新的Hybrid Sampler。

它采用了两个启发式的规则来构建这个Hybrid Sampler。在第一个规则中,将数据集分成两个部分,文档较长的数据集和文档较短的数据集,然后使用F+LDA来采样较短的文档集合,使用WarpLDA采样较长的文档集合;在第二个规则中,将两个具有不同收敛速度的sampler结合起来,在一次迭代中,每个token话题的采样都能产生一个样本,因此对于WarpLDA来说,需要动态地设定其MH步长,而对于F+LDA来说,则不需要进行任何改变。

根据实验,Hybrid Sampler在所有的数据集上和参数配置下,都能获得最好的性能。

优化2:非对称架构,实现模型并行

主题模型的训练常常需要大规模的数据集和较大的话题个数,因此分布式训练常常用于进行大规模的主题模型训练。已有的系统,包括LightLDA,YahooLDA和Petuum,其实都是采用参数服务器的架构来进行分布式训练,但是由于词分布的倾斜特性,标准的参数服务器架构会在Worker端产生较大的网络通信开销,因此每个worker几乎都需要把整个词-话题(Word-Topic)矩阵模型从PSServer上拉取下来,这个对性能会有很大的影响。

在实际的测试下,由于词分布的倾斜性,导致大部分的网络开销都产生于长尾的词语,这些长尾的词语产生的网络开销造成了在数据量和模型参数较大时带来的性能损失。因此,LDA 对于这类长尾词语进行了特殊的处理,将一部分长尾词语的采样推送到PSServer端进行,从而避免了对词-话题矩阵的拉取操作。由于在这样的架构中,PSServer不仅仅作为一个分布式存储,还参与了一定的计算任务,从而某种程度上实现了模型并行,这种架构为非对称架构。依托于Angel良好的接口设计和psFunc功能,LDA的这种非对称架构可以非常轻松的实现,而不用对Core进行任何的修改。

性能数据:在腾讯真实的推荐数据集上最高是原有系统的 9 倍

为了进行全面的评测,LDA 和之前开源的Petuum,以及微软的LightLDA,在2个数据集上进行对比。一个是开源的PubMED,一个是腾讯真实的推荐数据集。实验结果表明,在数据量越大的情况下,LDA 的优势越明显。

  • PubMED数据集上,LDA*的速度,分别是Petuum和LightLDA的5倍
  • 在腾讯真实的推荐数据集上,LDA* 是Petuum的9倍,是lightLDA的2.6倍。

大规模生产数据 为了更好的体现LDA 的性能,在腾讯内部生产集群上,LDA 使用更大的数据集进行训练。从下图的数据集可以看到,最大的一个数据集有3000亿个token,大约1.8TB的数据量。在所有的任务中,话题数设置为8000。

  • 数据集规模如下
  • 测试性能如下 LDA* 能够在资源充足的情况下,能得到非常好的扩展性,并且能够扩展至数千个worker,即便对TB级别的数据进行训练,时间可以控制在小时级别,很好的满足了生产系统的需要。

请在Github上Star Angel项目,与我们探讨

除了LDA算法,Angel还提供了Logistic Regression、Matrix Factorizaiton、GBDT等业内常用的高性能算法。未来,伴随着Angel开源的发展和推广,希望业界会有更多的公司,能够从Angel中受益,轻松拥有构建大规模模型的能力。也欢迎对机器学习有兴趣的同仁一起贡献代码。

Github: https://github.com/tencent/angel

转载自【腾讯开源】公众号,腾讯官方开源资讯,期待您的关注。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

教你用300万共享单车出行数据,预测骑行目的地 !(附源码)

标注数据中包含300万条出行记录数据,覆盖超过30万用户和40万摩拜单车。数据包括骑行起始时间和地点、车辆ID、车辆类型和用户ID等信息。参赛选手需要预测骑行目...

822
来自专栏大数据杂谈

Python中用K-均值聚类来探索顾客细分

在这篇文章中,我要谈的东西是相对简单,但却是对任何业务都很重要的:客户细分。客户细分的核心是能够识别不同类型的客户,然后知道如何找到更多这样的人,这样你就可以…...

1043
来自专栏机器之心

学界 | 谷歌提出协同机器学习:通过分散的手机更新同一个云端模型

选自Google Blog 作者:Brendan McMahan、Daniel Ramage 机器之心编译 参与:微胖、韩天哲 标准的机器学习方法要求在一个机器...

26510
来自专栏AI科技评论

学界 | 超大规模图计算在阿里巴巴的应用都有哪些?四篇KDD oral论文抢先看(附论文下载)| KDD 2018

AI 科技评论按:本文为阿里巴巴提供的 KDD 2018 解读稿件。这一事件在雷锋网学术频道 AI 科技评论旗下数据库项目「AI 影响因子」中有相应加分。

912
来自专栏灯塔大数据

干货 | 数据挖掘入门必看10个问题

NO.1 Data Mining 和统计分析有什么不同? 硬要去区分Data Mining和Statistics的差异其实是没有太大意义的。一般将之定义为Da...

3064
来自专栏大数据挖掘DT机器学习

当推荐算法开源包多如牛毛,为什么我们还要专门的推荐算法工程师

作为一个推荐系统业余爱好者,在机器学习领域的鄙视链中,我感觉一直地位不高,时常被搞NLP CV语音等高科技技术的朋友鄙视。 最近甚至被人问,推荐算法开源包多如牛...

3519
来自专栏AI科技评论

深度 | 深鉴科技CEO姚颂详解深度学习处理架构的演进历程

AI 科技评论按:AI研习社系列公开课持续进行中,高水平的嘉宾、精彩的分享主题、宽广的学术视角和敏锐的行业理解,肯定会让每个观众/读者都有所收获。 深度学习、体...

3747
来自专栏数据科学与人工智能

【智能】理解机器学习的5种方式——机器学习是什么

解决机器学习问题意味着完全解决这些类型的方程。 唯一的区别是,在ML的情况下,我们有数百万的方程式,数十亿的未知和万亿种可能的解决方案。 我们的任务是找到这许多...

1060
来自专栏大数据文摘

如何把各类难题变得数据可解?Get与数据科学家聊天的正确姿势

824
来自专栏人工智能头条

构建实战机器学习系统的10点经验(二)

1393

扫码关注云+社区