菜鸟顺丰的数据之战刚刚平息,华为腾讯两大巨头又因为用户数据之争”大打出手“, 因华为荣耀Magic手机出现的可根据微信聊天内容自动加载信息功能,腾讯向监管部门投诉,指其侵犯腾讯及用户的数据。微信作为一款国民级应用,拥有着近10亿的用户,在这个数据为王的时代,微信的庞大用户数据无疑是一座巨大的金矿,无论硬件商还是软件商都对这块巨大的蛋糕垂涎,不难解释在华为对腾讯公开宣战之后,包括支付宝、科大讯飞在内的一众互联网应用都积极的参与华为合作,数据价值的吸引,让各大商家趋之若鹜。本文分析了华为和腾讯的大数据体系,钱塘大数据公众号后台回复“华为”,获取本文PPT。
华为大数据——让数据慧说话
早在2007年,华为就已经开始投入大数据产品研发。在大数据研发上始终保持1500+的人员规模,在全球13个开放实验室,与各国200多家合作伙伴进行大数据方案的联合创新,并拥有500多项技术专利。 基于自身大数据平台强大的数据分析能力和建模工具,华为提供了城市大数据、精准扶贫、金融风险监控、智慧交通等大数据解决方案。
在大数据领域,2015-2016年华为在Hadoop社区贡献排名全球第三,Spark社区贡献排名全球第四,在全球IT设备供应商中排名第一。2016年,华为开源的CarbonData,全票通过Apache社区的评选,进入Apache开源社区。该项目创新性实现基于HDFS的融合数据存储方案,支持多种业务应用场景,可实现百亿级数据秒级响应。
腾讯大数据平台与推荐应用架构
如今腾讯的数据分析已经能做到始终“不落地”,即全部的实时处理。腾讯大数据平台有如下核心模块:TDW、TRC、TDBank、TPR和Gaia。简单来说,TDW用来做批量的离线计算,TRC负责做流式的实时计算,TPR负责精准推荐,TDBank则作为统一的数据采集入口,而底层的Gaia则负责整个集群的资源调度和管理。李勇还特别强调了数据平台体系化是应用基础,数据应用商业化是价值导向。
腾讯大数据挖掘体系与应用