实录|电信运营商的大数据技术创新和应用

2016年7月29日,第六届大数据世界论坛在京举办,中国电信北京研究院云计算研究中心赵慧玲主任作了题为《大数据技术创新和应用》的主题演讲,介绍了电信运营商在大数据领域的探索与发展。

大数据的发展经历了从萌芽期、过热期、幻灭期到复苏期的过程,2015年国家相继发布了《关于运用大数据加强对市场主体服务和监管的若干意见》与《促进大数据发展的行动纲要》等重要文件,成为我国大数据的转折年。

大数据产业特性是数据与技术的双驱动,数据基础设施、数据能力开放、大数据行业应用的发展同时伴随着大数据技术的发展与创新。从运营商的角度来讲,大数据应用分对内与对外,中国电信作为智能管道的主导者,对内利用大数据提高网络的智能性,无论是固定网络还是移动网络,都设有DPI检测,可以有效的监控网络的状态,合理利用网络的资源;对外利用电信的数据资源,建立大数据平台为更多企业服务。

中国电信的大数据平台-灯塔大数据行业应用平台的定位:整合多元数据,打造能力平台,创新行业应用,与行业合作伙伴共同打造大数据行业应用生态圈。

下面介绍五个热点的大数据技术:

1.混合数据存储:超大容量的存储空间,支持对海量数据的智能检索和分析,兼容各种类型的大数据应用。

2.混合数据库架构:大数据平台需要具有能够融合关系型数据库、列数据库、内存数据库、图数据库等多种数据库,形成混合数据库架构,这样可以满足多种场景下的数据处理需求。

3.异构数据关联:包含对内数据融合与对外数据开放。对内实现电信数据内的多种用户ID关联,实现多场景、多屏幕信息打通,实现更全面和精准的用户描述。对外借助从电信数据中挖掘出的外部ID,实现电信数据与外部数据的打通,从而打破电信数据开放的壁垒。

4.行业知识库:面向行业来构建数据库,推动应用价值,此外深入分析用户行为,构建多层次多角度的深度标签,使得大数据应用能够精准触及用户,满足客户需求。

在多源数据整合方面,中国电信灯塔大数据整合了电信内部云公司与省公司的一些数据源,包括脱敏后的固网及移动管道数据(DPI)、客户注册信息(CRM)、流量及话单数据(ODS)、位置(信令)等,当前数据总量约800亿规模;同时,我们自己也积累互联网数据,包括电商、视频、触媒、汽车、地产、金融、社交等垂直领域公开数据约4亿条;并且,我们接入了大量的第三方数据资源,包括约200个数据接口API,覆盖教育、工商、航空、公安、法院、银行等领域。“整合多源数据”的定位中我们追求的是“广”。

在能力平台打造方面,我们在多源数据整合之后,对数据进行了进一步的清洗、融合与能力封装。在数据清洗环节,我们对原始数据去噪声、结构化,保证数据质量;在数据融合环节,我们通过ID的mapping,打通多方数据源,使得数据的整合提升到数据的融合,实现1+1>2的数据融合增益;在能力封装环节,我们在保护用户隐私的前提下,面向不同的大数据应用场景,把人与物多重的时空关联关系,做定量的刻画与预测,并以API的形式做能力封装。

通过打造灯塔能力平台,我们在数据拼接技术、行业知识建模技术、深度标签技术等方面都具备较深的技术积累。

数据拼接技术:将异构多源的大数据做数据整合中面临很多困难,运营商数据具有天然的优势:覆盖广、跨平台关联性强,进而以此为基础可以实现数据整合。构建ID关联模型,采用图数据库进行数据存储和模型计算,实现DPI数据内的多种用户ID关联,解决了电信数据与外部数据有效关联和拼接的问题。目前平台已积累超过100类ID数据,ID总量超5000万。

深度标签技术:根据用户上网行为,使用机器学习和模式识别等算法,推断用户的性别、年龄等基础人口属性,并打造消费偏好、消费能力等其他深度标签。目前已构建超过10个行业的总计6000余类用户深度标签。

行业知识建模技术:通过整合数据采集、数据存储、数据形式化、数据表达等环节,打造完善的行业知识库,为运营商网络大数据的解析提供必要支持。当前行业知识库整体字典规模超过2亿,其中电商和视频分别占1.2亿和6000万。

在行业应用创新方面,我们与合作伙伴一起,在能力平台封装的数据能力之上,针对客户的需求与痛点,共同研发面向通用领域与垂直行业的,大数据产品与解决方案,使得大数据服务能够真正为客户带来价值。我们希望与合作伙伴一起,营造灯塔大数据生态圈,进而加速大数据的商业创新与应用落地,为传统产业升级和经济结构转型贡献力量。

介绍中国电信灯塔大数据的平台,灯塔大数据构建了“5+1+1”的产品体系。5个产品方向包含精准营销、金融征信、人力资源、市场研究和地理商业智能,1个平台指的是Data Fusion&Insight能力平台,另外一个1指的是流量入口,即大数据应用商店与交易市场。

在精准营销方向,我们利用数据拼接技术,实现跨屏跨网跨平台的用户对齐,并利用深度标签技术,打造更加立体的用户画像,从而为客户提供更加有效的精准营销服务,既包括新客获取也包含老客营销。

在金融征信方向,我们通过整合传统信贷数据之外的其他数据源,辅助各类金融机构对借贷主体,无论是个人还是企业,进行信用评级与风险定价,有效对央行征信报告进行了补充。

在人力资源方向,我们创新的引入用户互联网行为,形成求职者的胜任力、学习能力、专注度、敬业度等指标,试图把人力资源这种非标资产标准化,进而尝试对人力资源做资产定价,并推出了相应的猎头与背调服务,来打破传统人力资源行业的信息不对称,降低企业的用工风险与用工成本。

在市场研究方向,我们将全量、跨平台、多维度等大数据的优势,与传统市场研究中的小数据结合,目前已经打造了诸如购买消费者洞察、商业指数分析、决策路径分析等诸多成功案例。

在地理商业智能方向,我们通过引入第三方数据源,将用户线下的位置信息精确到店铺级别,再关联上用户的线上行为,于是就产生了区域人口洞察、店铺选址、客流分析等一系列地理方向的应用,对于客流分析及人流预警等方面的应用具有较大的意义。

在灯塔大数据微信公众号里,可以获取到行业应用PPT、市场研究报告、大数据产业进展及运营商大数据的发展成功。期待更多的合作伙伴加入灯塔大数据的生态圈,让电信的数据更有价值,为行业服务,为生活服务,谢谢大家!

内容来源:灯塔大数据

本文分享自微信公众号 - 灯塔大数据(DTbigdata)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-08-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯研究院的专栏

社群经济与粉丝经济:误解和澄清

    胡泳 北京大学新闻与传播学院教授     宋宇齐 北京大学新闻与传播学院研究生    随着社会交流方式特别是网络的发展,社群的涵义产生了极大的...

309100
来自专栏刘望舒

我对知识付费的看法(文末送福利)

38320
来自专栏罗超频道

算法到底有没有价值观?快手给出了标准答案

近日,因为“早孕网红”事件,快手、火山等短视频平台被央视点名批评进而被推到舆论的风口浪尖。对此,快手创始人兼CEO宿华第一时间发表题为《接受批评,重整前行》的文...

371100
来自专栏CDA数据分析师

译文|大数据不必大系统!

本文由CDA数据分析研究院翻译,译者:王晨光,转载必须获得本站、原作者、译者的同意,拒绝任何不表明译者及来源的转载! 我已经就大数据及其益处和挑战写过不少东西了...

190100
来自专栏人称T客

注重用户并不意味着为每一个潜在的客户服务 | 海外*风投

作者:T 客汇 张苏月,原文作者 Michael Seibel 关键词:用户,产品,初创公司 网址:www.tikehui.com ? 创业之初,许多...

37550
来自专栏BestSDK

2017谁拥有可视化数据挖掘,谁就将拥有无限用户

2017年中国互联网已经进入了互联网下半场,很多业内人士都称互联网的分水岭来临,而在互联网下半场,APP已经再无野蛮生长,人口红利到头,网民增速连续下降到个位数...

39960
来自专栏量子位

吴韧谈异构智能芯片:比谷歌能耗低,比华为寒武纪计算力高

安妮 发自 空巢咖啡 量子位 出品 | 公众号 QbitAI 昨天的媒体交流会上,吴韧全程带笑。 和气、稳重是吴韧给人留下的第一印象。自2015年百度离职创立异...

37150
来自专栏小狼的世界

关于Advertising Campaign

Advertise Campaigns 是指为了传播企业创意或者宣传主题而采取的一些列的整合营销(IMC)活动,也称为广告战役。广告战役主要在一段明确的时间内,...

13530
来自专栏CSDN技术头条

大数据时代已经到来,你了解吗?

一、大数据出现的背景 进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与...

26470
来自专栏AI科技评论

对话百度IDL负责人林元庆:人脸识别获评十大突破性科技背后百度的布局和野心

AI科技评论按:21日,《麻省理工科技评论》发布全球十大突破性技术榜单,百度以人脸识别技术获得提名。百度深度学习实验室主任林元庆会后举行了一场媒体沟通会,详细阐...

32270

扫码关注云+社区

领取腾讯云代金券