腾讯数据平台部获CCF企业最高奖——科学技术卓越奖

CNCC2017举行了盛大的颁奖晚宴,颁发本年度CCF科学技术奖、CCF-IEEE CS青年科学家奖、CCF海外杰出贡献奖、CCF王选奖,主要奖励在计算机及相关领域科学研究、技术创新与开发、科技成果推广应用和实现产业化方面取得卓著成绩或者做出突出贡献的个人和集体,腾讯成为面向企业的最高奖项获得者之一。

腾讯副总裁、CCF副理事长王巨宏女士(左一),中科院计算所所长、CCF副理事长孙凝辉研究员(左二),中国工程院院士、CCF理事长高文教授(右一)为获奖团队颁奖

腾讯获奖项目:

互联网大数据实时处理与分析平台

随着网络与社会生活的深度融合,UGC内容、多媒体、IOT等形态各异的数据正在以前所未有的速度和规模产生。如何低成本的存储与处理数据,打通数据孤岛,有效利用和发掘数据的要素价值,并为大数据的分级受控与流转提供平台和监管,缓解企业在数据处理、运营、人员能力匹配方面所面临的巨大压力,均对传统的数据库与计算平台提出严峻挑战。

腾讯技术工程事业群数据平台部从2009年开始全面投入大数据领域研发与运营,经历了从数据规模化到实时化以及当前的智能化的三段式发展,通过多年实战磨砺,我们有了重大突破,能够有效支持超过2万个节点的大数据集群管理,支持了10亿用户日均10万亿数据的实时接入,所研发的千亿级数据记录、万级维度的秒级实时多维分析产品,支持了10亿用户的全景用户画像服务。通过数据驱动保障腾讯内部各业务的持续健康发展。

腾讯大数据发展历程

围绕着数据接入、分发、资源调度和数据分析我们主要有如下突破:

1、十万亿级数据的实时化接入处理:我们通过在数据管道的架构层面进行优化,强化数据分发网络的多层动态背压策略,能够支撑当前10万亿/天的实时数据接入。

2、万级集群的秒级高效资源调度:我们围绕着优化资源调度的触发行为与匹配策略,通过丰富资源管控粒度,能够支撑当前超过2万台服务器的统一集群调度,秒级资源匹配并达到超过80%的高资源利用率。

3、千亿数据万级维度的实时数据分析:我们基于倒排索引和嵌套列的存储进行深度定制优化,结合位图计算,能够实现千亿级数据万级维度的秒级分析,高效支持10亿用户的统一画像服务。

腾讯大数据平台架构

腾讯大数据平台通过近十年持续稳定地运营国内最庞大、最丰富的数据体系,在技术和运营都形成了深厚的积淀。我们开源了TDW和Angel平台,开放了这些年的海量大数据处理经验和先进技术,积极促进了技术社区的良性发展。通过技术和服务的产品化,我们向金融、政务、安全、制造、物流等领域进行能力输出,促进融合开放,打造良性创新生态系统,加速大数据产业的整体发展。

CNCC活动现场腾讯大数据团队在展示区向参会人员展示了数据应用成果。

腾讯团队受邀参加2016 国家奖与 2017 CCF 科学技术奖成果交流会

CNCC2017大会期间,举办了2016 国家奖与 2017 CCF 科学技术奖成果交流会,会议主席、CCF副理事长孙凝晖研究员及 CCF 秘书长杜子德研究员做为嘉宾出席并致辞。会议邀请了2016国家自然科学二等奖获得者中科院数学院吕金虎研究员、技术发明二等奖获得者清华大学徐恪教授、北京航空航天大学吕卫锋教授进行了国家奖成果特邀报告,随后会议还邀请了此次CCF 科学技术奖自然科学一等奖获得者代表北京邮电大学马华东教授与清华大学朱军副教授、技术发明一等奖获得者代表中科院计算所陈益强研究员与深鉴科技单羿博士、科技进步卓越奖获得者代表腾讯陈鹏和滴滴盛克华做出2017 CCF 科学技术奖成果特邀报告。

会上,陈鹏针对互联网大数据实时处理与分析平台向现场观众做了细致的分享。作为一家具有万亿级别数据量的企业,陈鹏介绍了腾讯大数据的发展历程及背后的 Gaia 资源调度管理的一系列运营数据。面向自 2015 年至今进入的机器学习的时代,腾讯所具备的机器学习的能力支持十亿维度,解决超大规模数据训练效率问题。通过去中心化、扩缩容、灾备和数据分级等措施,保证腾讯在日常数据操作及特殊事件应急的系统安全性。

原文发布于微信公众号 - 腾讯大数据(tencentbigdata)

原文发表时间:2017-11-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏罗超频道

短视频头部效应加剧,秒拍整军三月强势归来

2018年7月30日,在相关部门要求下,秒拍、波波视频等12款短视频应用在应用市场下架。前几天,下架已有2个月多的秒拍和波波视频逐步恢复上架。不过,内容监管却并...

1261
来自专栏企鹅号快讯

微信小游戏采用了我们都忽略的产品推广新切入点

今天上线的微信小游戏火爆了各种微信群,但不包括朋友圈~可能你会问,为什么在朋友圈没有微信群活跃,接下来我就说说微信小游戏的“类病毒”推广之道。 先来看看现在都有...

2237
来自专栏腾讯高校合作

腾讯数据平台部获CCF企业最高奖——科学技术卓越奖

CNCC2017举行了盛大的颁奖晚宴,颁发本年度CCF科学技术奖、CCF-IEEE CS青年科学家奖、CCF海外杰出贡献奖、CCF王选奖,主要奖励在计算机及相关...

3836
来自专栏hbbliyong

使你的IT职业生涯更上一层楼de14条建议

摘要:升值为企业IT部门的领导者,是大部分IT技术人员职业生涯的最终追求。但从一般大众中脱颖而出,并非易事。仅仅把本职工作干好远远不够,还需要IT技术人员展示出...

2787
来自专栏VRPinea

撇开虚火与泡沫,让我们来谈谈未来的VR直播业态几何

2855
来自专栏ThoughtWorks

我的十年 | 女性

08年,我刚加入公司的时候,被告知在公司工作十年以上就有资格享受12周的年资假。当时并没有觉得这个福利和自己有什么关系,毕竟太过遥远。

542
来自专栏PPV课数据科学社区

一个微信创业者吐血总结的微指南

“微信观”很重要 微信是什么? 微信自己定义为“一种生活方式”。这句话将微信的定位说到了极致。但很少有人能够懂得其中的内涵,并使之服务于生活。 我把微信定...

3345
来自专栏知晓程序

他们在《我的世界》里修故宫、造大炮,如今还能赚大钱!

在《我的世界》(Minecraft)里,如果你把人物命名为 Notch,那么在角色死去后,会掉落一个红苹果。

1052
来自专栏Java技术栈

程序员如何面对 HR 面试的 40 个问题!

2034
来自专栏机器人网

对未来的AI机器人,大家都有什么话想说?

科技发展日新月异,人工智能(AI)未来终究会发展到什么程度,现在还没有人能给出一个准确的答案。对于未来的AI机器人,人类会有什么想法,又想对他们说些什么呢?博客...

1163

扫码关注云+社区

领取腾讯云代金券