Apache Kylin在绿城客户画像系统中的实践

前言

作为国内知名的房地产开发商,绿城经过24年的发展,已为全国25万户、80万人营造了美丽家园,并将以“理想生活综合服务提供商”为目标,持续为客户营造高品质的房产品和生活服务。

2017年,绿城理想生活集团成立,围绕客户全生活链、房屋全生命周期,为客户提供从买房子到房屋的保养维护,再到业主全方位的生活服务。为此构建了绿城+App生活服务平台、房产营销数字化平台及房屋4S服务平台,这些系统的构建为业主购房及生活服务提供了极大的便利,部分系统不仅开放给绿城客户、业主使用,同时也服务于非绿城的客户。通过一整套垂直行业的用户画像系统构建并使用Apache Kylin加速主要数据服务,有效提升了互联网广告推广、营销服务的效率。

一、绿城客户画像系统的背景

房产品的营造和线下销售是当前绿城的主营业务,为有效提升服务质量、管理效能,降低营销费用,实现客户服务智能化、销售行为自动化、成本管理合理化,绿城积极拥抱互联网,于2015年开始了数字化营销(Digital Marketing)的探索和研究,通过+互联网创新营销业务。

经过2年的探索和模式验证之后,2017年绿城成立了专门的大数据团队,围绕营销全过程和客户全生命周期, 构建了房地产行业首个全闭环的“房产营销数字化平台”,服务于营销找客到成交回款全过程,如下图所示:

图1 绿城房产营销数字化平台

在“房产营销数字化平台”中,精准营销和智慧案场为营销线最核心的两个系统,它们以广告投放、客户数据资产管理、经营指标分析为基础,延展出集合营销知识分享与学习、营销与转化工具、第三方供应商为一体的互联网平台,服务于房地产市场营销产业链生态圈,为Marketing阶段的客户获取提供了一站式程序化解决方案。另外置业绿城、掌上销售等系统则为后续的Sales环节提供数字化服务。

精准营销系统和智慧案场系统,基于DMP(Data Management Platform,数据管理平台)的数据分析和处理能力支撑和流转起所有业务逻辑,一方面,绿城DMP系统通过积累营销投放过程中的回流数据,另外一方面又采集置业绿城、全民营销系统(绿粉汇)、掌上销售系统中的埋点行为数据及数据库数据。通过上述种种方式为数字化营销建立更为准确优化的策略,从而真正做到“数据驱动营销”。绿城DMP的数据包含第一、第二和第三方数据:

  • 第一方数据,即完全自有的数据。企业自身的CRM系统数据、网站和APP等运营活动的应用数据;
  • 第二方数据,主要包括程序化广告投放过程中的交易数据;
  • 第三方数据,主要为BAT数据、运营商数据等。

绿城DMP整体的业务架构图如下:

图2: 绿城DMP与系统间的逻辑架构

DMP作为服务于Marketing的核心工具,客户画像发挥着极其重要的作用。客户画像依赖于DMP的标签管理、用户归一化以及营销相关的客户数据,它为房子的营销推广提供决策支持和依据。

另外一方面,营销相关运营活动也需要画像系统支持。营销引擎基于用户画像系统,为精准营销、智慧案场系统提供统一的广告投放服务。

二、客户画像与Apache Kylin的结合

如前所述,客户画像服务于Marketing,其核心的业务流程可以用下图表示:

图3 客户画像的核心逻辑

通过DMP进行数据的采集、融合分析、归一化处理,再基于行业标签,为精准营销系统提供精准的人群画像,并投放到各类媒体及网站,实现对于受众的精准触达。

2015~2016年,绿城大数据平台中的数据主要通过Hive + HBase进行存储以及分析计算,后台的数据服务尤其是画像服务,均是基于HBase的Java API开发,那时基本能满足业务秒级的响应需求。但经历2017年的业务高速发展之后,随着渠道及合作方的增多,数据的体量和维度的增加了数十倍,画像等数据服务的响应速度逐渐降至5秒甚至30秒,部分业务查询甚至超过了1min,而且数据源头繁杂、维度众多,需要体系化地管理。为解决这个问题,绿城大数据团队于17年上半年进行标签体系建设形成共13大类、8000+细类的多维度标签,客户画像的构建,便依赖于这个丰富成熟的标签体系。

日均300G以上数据会沉淀在大数据平台中,数据体量的增加导致性能瓶颈明显,经过多轮测试、综合对比分析Apache Kudu,Presto,Druid以及Apache Kylin之后,最终选择Apache Kylin作为OLAP工具,最终优化并解决了数据服务查询的性能问题。选择Apache Kylin的主要原因有以下几点:

  • 成熟度来讲:Apache Kylin和Druid 更为成熟(参照稳定性、性能、社区活跃度等因素)
  • 查询效率来讲:Druid ≈ Apache Kylin,优于其他(主要业务场景)
  • 实用和便捷性:Apache Kylin搭建和使用均较为便捷(同时也是华人的顶级开源项目)

另外,Apache Kylin还有以下优点:

  1. Apache Kylin进行预计算,空间换时间,通过预定义、计算Cube的方式提升查询的速度和性能,同时,查询的性能随业务的增长也不会受到影响;
  2. 数据管理及同步方便。预计算、构建Cube、数据管理都可基于Apache Kylin自行管理;有开放的API可以方便、快速地对接内部数据处理流程、与调度系统打通。

绿城大数据平台每日增量构建数百GB的Cube,构建的时间从几小时到十几小时不等,之前后台较慢的查询时间范围是从十几到几十秒,使用Apache Kylin后则基本都在1-2秒内即可予以响应。最终优化之后的客户画像构建流程如下:

图4 客户画像构建流程

其中,业务系统数据和Log数据通过采集、传输后,基于Spark进行初步处理,之后包含埋点、运营活动等的结果数据会写入HDFS以及HBase中。一部分客户、楼盘的数据报告和分析服务通过Hive及Spark进行支撑和输出,而主要的数据服务则通过Apache Kylin进行构建。

在Kylin中,对于小数据量的Cube,或者经常需要全表更新的Cube,使用全量构建需要更少的运维精力,以少量的重复计算降低生产环境中的维护复杂度。而对于大数据量的Cube,例如对于一个包含两年历史数据的Cube,如果需要每天更新,那么每天为了新数据而去重复计算过去两年的数据就会变得非常浪费,而在这种情况下需要考虑使用增量构建。

因为绿城大数据平台的数据每天按日更新,并且日均数据量都会在百G以上,所以我们用到了Apache Kylin的增量构建Cube。Kylin在Web界面上提供了手动构建Cube的操作,此外,Apache Kylin也提供了Rest API进行增量构建。在绿城客户画像系统中,70%的自动化触发增量构建都基于Rest API完成。

图5 Apache Kylin构建Cube的Web页面

我们基于Apache Kylin构建好的数据服务,又通过开源工具Superset进行客户画像中标签数据的可视化分析展示,如下图:

图6 基于Superset的标签画像展示

大数据可视化工具的选择非常丰富。在对比了开源工具Superset、Zeppelin以及商业工具FineBI后,最终采用Airbnb开源的Superset(曾用名Caravel)的主要原因如下:

  1. 数据安全性、权限控制,仅Superset有表检索的权限控制
  2. 图表多样性,Superset拥有多达30张以上的图表,多表的联动性-filter支持多表联动
  3. 数据库多元性,Superset既支持关系型数据库,也支持像Apache Kylin这样的大数据框架
  4. 社区活跃度相对更高
  5. Superset作为一款开源的BI工具,能够满足我们对于标签画像联动分析的需求,节省了前端、UI的开发资源

客户画像依赖的数据、后台计算引擎以及标签都构建完成后,绿城客户画像的一瞥如下图所示:

三、未来客户画像系统的展望

绿城客户画像系统目前只服务于房产营销,随着房屋4S、园区商业、绿城+App生活服务平台的日益成熟,画像系统将融合各业务系统数据,完成客户全生活链用户画像的建设,同时客户画像会融入知识图谱,建立业主与业主、业主与房子之间的连接,从而形成一套更加全面、可视化的用户画像系统。绿城大数据团队将积极拥抱开源、拥抱互联网,拥抱变化,持续用技术和数据驱动绿城各条线的业务发展。

原文发布于微信公众号 - Spark学习技巧(bigdatatip)

原文发表时间:2018-04-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏EAWorld

数字化转型中的大数据治理架构

大家好,我今天分享的主题是大数据治理。我们如何使用好大数据资产,才能够更好地发挥其中的价值? 主要大纲: 一、数字化时代大数据向服务化发展 二、数字化时代的大数...

3779
来自专栏AI科技大本营的专栏

CSDN创始人蒋涛:中国智能音箱大战,我为何看好小米

本视频上半部分为天猫精灵、小米智能音箱、叮咚智能音箱的简单测评;下半部分为CSDN创始人蒋涛对目前语音交互技术及趋势的一段精彩点评。 AI 滔滔是CSDN旗...

3466
来自专栏PPV课数据科学社区

数据科学家所需的技能和素质

对数据科学家的关注,源于大家逐步认识到,Google、Amazon、Facebook等公司成功的背后,存在着这样的一批专业人才。这些互联网 公司对于大量数据不是...

3314
来自专栏PPV课数据科学社区

怎样判断一个人是否适合做数据分析?

网友问:部门要找几个人做数据分析。现几个人原来是在不同的岗位上的,以前没有做过数据分析,怎么样才能看看出他们是不是适合做数据分析呢,在进行竞聘时使用什么样的题目...

31612
来自专栏AI研习社

问答 | 想成为数据科学家,需要学习哪些技能?

一个资深的数据科学家不会在拿到数据后就直接信任它的。他们会反复查验数据,寻找其中的偏移、丢失的数据、重复数据等等。

1013
来自专栏PPV课数据科学社区

大数据的未来:22名数据专家预测2016年数据科学与大数据的发展趋势

有奖转发活动 回复“抽奖”参与《2015年数据分析/数据挖掘工具大调查》有奖活动。 ? 预测未来永远不是件容易的事情。但随着2015即将结束,我们不禁期待新的一...

3396
来自专栏人称T客

专业投资人如何评估SaaS公司?有多少创业者不知道

SaaS商业模式当下炙手可热,但究竟如何评估SaaS业务、如何衡量SaaS业务指标?SaaS业务的财务分析与传统商业模式有什么不同?我们选译了美国SaaS领域的...

3417
来自专栏机器人网

与你的新机器人好友和平共处

“我们越来越趋向于一个接口,类似人与人互动的接口。我们的整个趋势是与机器的互动更加亲密,并且每个阶段,机器所做的事情越来越成为我们生活的核心。”——Paul S...

1764
来自专栏云计算D1net

云计算产业运营模式私有云市场分析

(1)私有云市场规模分析 图表-1 2009-2012年中国私有云市场规模分析 ? (2)私有云调查方案种类分析 企业系统管理厂商:BMC、CA、IBM和new...

3537
来自专栏人称T客

专业投资人如何评估 SaaS 业务?一篇文章搞懂!

关键词: SaaS,HubSpot ,MRR,LTV 网址:www.tikehui.com 通过观察 SaaS(软件即服务)公司的深层次目标,本文将逐层剖析、发...

4975

扫码关注云+社区