解密个推SDK如何完成百亿级覆盖量推送

精彩内容

作为推送行业领导者,截止目前个推SDK累计安装覆盖量达100亿(含海外),接入应用超过43万,独立终端覆盖超过10亿 (含海外)。个推系统每天会产生大量的日志和数据,面临许多数据处理方面的挑战。

首先数据存储方面,个推每天产生10TB以上的数据,并且累积数据已在PB级别。其次,作为推送技术服务商,个推有很多来自客户和公司各部门的数据分析和统计需求,例如:消息推送技术和数据报表。虽然部分数据分析工作是离线模式,但开源数据处理系统稳定性并不很高,保障数据分析服务的高可用性也是一个挑战。另外,推送业务并不是单纯的消息下发,它需帮助客户通过数据分析把合适的内容在合适的场景送达给合适的人,这要求系统支持数据挖掘,并保证数据实时性。

大数据系统演进之路

早期由于数据处理无太复杂的需求,个推选择几台高性能的机器,把所有数据分别放在这些机器上计算。只需在机器上多进程运行PHP或Shell脚本即可完成处理和统计。数据处理更多关注客户今天推送多少条消息,某个推送任务有多少回执等,执行相对较简单的报表。

此阶段个推大数据系统的特点是,只需运维定时脚本传输到指定中间节点;用户虽然有亿级别但日志种类较单一;只需使用PHP、Shell脚本来运行和数据只需短期保存(结果集长期保存、中间数据和原始数据保存很短时间)。

个推大数据系统演进第二阶段:大数据基础建设,离线批处理系统

2014年个推推出智能推送解决方案。用户体量大的明星App接入,系统覆盖用户数爆增。这样的情况下,个推引进Hadoop生态体系,用HDFS基本解决存储的问题,使用Hive做数据仓库和离线分析,并且使用Mahout做机器学习。个推完成了由单机或多机模式向集群方向的转变。整个运转流程和原来类似,差别在于将日志传输到中转节点之后,使用hdfs命令put数据到hdfs,并添加hive表分区,然后对日志做进一步的处理,导入到数据仓储里去。最后个推对数据仓库中数据进行挖掘,给用户打标签,入库到HBase和线上ES等。这是离线批处理系统的基本建设。

个推大数据系统演进第二阶段:大数据基础建设,实时处理系统

从上方看,原有的数据存到HDFS,使用Spark,MR等进行离线批处理。引入Kafka来解决日志收集问题,用Flume收集各个业务节点的日志,并写入到Kafka集群,再依照业务的分级进行小时级别和秒级别处理。最终个推会落地一份数据,将它同步给业务线的DB或ES中使用。

基础建设阶段个推完成几项工作:采用Lambda架构(Batch Layer、Speed Layer、ServingLayer);引入Hadoop(Hdfs、Hive/MR、Hbase、Mahout等);采用ES、SolrCloud+ HBase方案 实现多维度检索;引入Flume 、Kafka、Camus和优化改造日志传输和引入和优化国产开源的Redis集群方案-Codis 。

个推大数据系统演进第三阶段:工具化+服务化+产品化

基础建设过程中,个推发现虽有了整体框架,但依然不能比较便捷地响应业务方的需求。所以个推选择提供工具给业务方,并增加一个服务代理层,也就是上图红色部分,把批处理任务等抽象成任务模板,配置到代理层,最终提给业务方调用,他们只要做简单的二次开发,就可以使用个推集群的计算服务,提高业务开发速度。

个推大数据系统演进的经验与总结

第一,探索数据和理解数据是开发前必备工作。数据处理之前需要探索有哪些脏数据,这些脏数据的分布,以及无效数据和缺省情况的发现等。第二,数据存储方案向分析和计算需要靠拢。可以考虑使用类似Carbondata等带有索引的文件格式。第三,数据标准化是提高后续处理首要手段。绝大部分数据需要标准化后供给后续使用(基本清洗、统一内部ID、增加必备属性),如对实时性数据,应先做标准化处理后,再发布到Kafka里,最后供所有其他实时系统做处理,减少常规清洗和转化处理在多个业务中重复做,并且统一ID,便于和数据打通。第四,工具化、服务化、产品化提高整体效率。在开发层面可以将MR、Spark进行API封装并且提供足够的工具包。第五,大数据系统全链路监控很重要。批处理监控主要包括:日常任务运行时间监控、是否出现倾斜、结果集每日曲线、异常数据曲线,GC监控;流式处理监控包括:原数据波动监控、消费速率监控报警、计算节点delay监控等。

原文发布于微信公众号 - BestSDK(bestsdk)

原文发表时间:2016-08-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java学习网

程序员需谨记的8条团队开发原则

  当你从学校出来,找到第一份软件开发工作的时候,你就不再是一个单独作战的程序员了,你将会有一个团队,你的一举一动也将直接影响团队的效率和产出。下面这8条团队开...

35650
来自专栏pangguoming

Hadoop概念学习系列之Hadoop、Spark学习路线(很值得推荐)

说在前面的话   此笔,对于仅对于Hadoop和Spark初中学者。高手请忽略! 1 Java基础: 视频方面:           推荐《毕向东JAVA基础...

83670
来自专栏云计算D1net

私有云和混合云成功的四个关键因素

许多企业希望获得云计算基础设施的敏捷性和成本效益,但是在部署实施云计算时,在复杂性和成本方面受到阻碍。此外,企业需要将云部署扩展到任何级别的能力,以及管理许多类...

34980
来自专栏Java后端技术栈

“杀”一个程序员不需要用枪,改三次需求就可以了!

在很多软件公司,特别是一些创业型的团队中,对于这样的情景可能大家都很熟悉:项目经理或者产品经理(产品狗)口头或者简单记录一下软件产品的大致要做的功能,直接就让研...

13410
来自专栏SDNLAB

JUNOS DEVOPS尤便捷 更精彩

一、 新一轮IT变革来临(DEVOPS) 如今IT发展风起云涌如火如荼,各领域技术百花齐放,各山头厂商占地为王。纵观整个IT江湖,虽拥有众多的昙花一现和太多的不...

35080
来自专栏熊二哥

《大型网站技术架构》学习笔记-01概述

李智慧老师的大型网站架构已经买了两年了,之前大体看过一次,不过还未内化为自己的本领,最近项目空闲,决定尽力掌握这部分的知识,以跟上大师的节奏。今天是儿童节,祝自...

32050
来自专栏场景录小程序

“功能直达”全面开放,小程序新一轮竞争开始!

微信宣布“功能直达”正式开放,商家与用户的距离可以更“近”一步!用户微信搜一搜功能词,搜索页面将呈现相关服务的小程序,点击搜索结果,可直达小程序相关服务页面。

8120
来自专栏大数据钻研

年薪50W大数据工程师入门学习路线

视频方面: 推荐《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入,java学习到javase,在Java虚拟机的内存管理、...

22940
来自专栏架构师小秘圈

1亿级PV网站架构演变

作者:叶军 来自:http://www.yejun.cn/?p=1154 一个网站就像一个人,存在一个从小到大的过程。养一个网站和养一个人一样,不同时期需要不...

69370
来自专栏数据和云

加速Oracle RAC性能 软件定义存储的数据库云化实践

简介: 刘振宇 云和恩墨基础架构软件研发负责人。 拥有10年以上电信、金融、保险、政府机关以及制造业等多个行业的架构和管理经验。现在负责云和恩墨软件定义存储zD...

42540

扫码关注云+社区

领取腾讯云代金券