专栏首页腾讯高校合作腾讯数据平台部获CCF企业最高奖——科学技术卓越奖

腾讯数据平台部获CCF企业最高奖——科学技术卓越奖

CNCC2017举行了盛大的颁奖晚宴,颁发本年度CCF科学技术奖、CCF-IEEE CS青年科学家奖、CCF海外杰出贡献奖、CCF王选奖,主要奖励在计算机及相关领域科学研究、技术创新与开发、科技成果推广应用和实现产业化方面取得卓著成绩或者做出突出贡献的个人和集体,腾讯成为面向企业的最高奖项获得者之一。

腾讯副总裁、CCF副理事长王巨宏女士(左一),中科院计算所所长、CCF副理事长孙凝辉研究员(左二),中国工程院院士、CCF理事长高文教授(右一)为获奖团队颁奖

腾讯获奖项目:

互联网大数据实时处理与分析平台

随着网络与社会生活的深度融合,UGC内容、多媒体、IOT等形态各异的数据正在以前所未有的速度和规模产生。如何低成本的存储与处理数据,打通数据孤岛,有效利用和发掘数据的要素价值,并为大数据的分级受控与流转提供平台和监管,缓解企业在数据处理、运营、人员能力匹配方面所面临的巨大压力,均对传统的数据库与计算平台提出严峻挑战。

腾讯技术工程事业群数据平台部从2009年开始全面投入大数据领域研发与运营,经历了从数据规模化到实时化以及当前的智能化的三段式发展,通过多年实战磨砺,我们有了重大突破,能够有效支持超过2万个节点的大数据集群管理,支持了10亿用户日均10万亿数据的实时接入,所研发的千亿级数据记录、万级维度的秒级实时多维分析产品,支持了10亿用户的全景用户画像服务。通过数据驱动保障腾讯内部各业务的持续健康发展。

腾讯大数据发展历程

围绕着数据接入、分发、资源调度和数据分析我们主要有如下突破:

1、十万亿级数据的实时化接入处理:我们通过在数据管道的架构层面进行优化,强化数据分发网络的多层动态背压策略,能够支撑当前10万亿/天的实时数据接入。

2、万级集群的秒级高效资源调度:我们围绕着优化资源调度的触发行为与匹配策略,通过丰富资源管控粒度,能够支撑当前超过2万台服务器的统一集群调度,秒级资源匹配并达到超过80%的高资源利用率。

3、千亿数据万级维度的实时数据分析:我们基于倒排索引和嵌套列的存储进行深度定制优化,结合位图计算,能够实现千亿级数据万级维度的秒级分析,高效支持10亿用户的统一画像服务。

腾讯大数据平台架构

腾讯大数据平台通过近十年持续稳定地运营国内最庞大、最丰富的数据体系,在技术和运营都形成了深厚的积淀。我们开源了TDW和Angel平台,开放了这些年的海量大数据处理经验和先进技术,积极促进了技术社区的良性发展。通过技术和服务的产品化,我们向金融、政务、安全、制造、物流等领域进行能力输出,促进融合开放,打造良性创新生态系统,加速大数据产业的整体发展。

CNCC活动现场腾讯大数据团队在展示区向参会人员展示了数据应用成果。

腾讯团队受邀参加2016 国家奖与 2017 CCF 科学技术奖成果交流会

CNCC2017大会期间,举办了2016 国家奖与 2017 CCF 科学技术奖成果交流会,会议主席、CCF副理事长孙凝晖研究员及 CCF 秘书长杜子德研究员做为嘉宾出席并致辞。会议邀请了2016国家自然科学二等奖获得者中科院数学院吕金虎研究员、技术发明二等奖获得者清华大学徐恪教授、北京航空航天大学吕卫锋教授进行了国家奖成果特邀报告,随后会议还邀请了此次CCF 科学技术奖自然科学一等奖获得者代表北京邮电大学马华东教授与清华大学朱军副教授、技术发明一等奖获得者代表中科院计算所陈益强研究员与深鉴科技单羿博士、科技进步卓越奖获得者代表腾讯陈鹏和滴滴盛克华做出2017 CCF 科学技术奖成果特邀报告。

会上,陈鹏针对互联网大数据实时处理与分析平台向现场观众做了细致的分享。作为一家具有万亿级别数据量的企业,陈鹏介绍了腾讯大数据的发展历程及背后的 Gaia 资源调度管理的一系列运营数据。面向自 2015 年至今进入的机器学习的时代,腾讯所具备的机器学习的能力支持十亿维度,解决超大规模数据训练效率问题。通过去中心化、扩缩容、灾备和数据分级等措施,保证腾讯在日常数据操作及特殊事件应急的系统安全性。

END

本文分享自微信公众号 - 腾讯高校合作(Tencent_UR)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-11-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【远古生物复活】深度学习与生物大数据处理

    在地球漫长的进化中,我们人为地造成了很多悲剧: 渡渡鸟、长毛象 大海燕 袋狼 …… 这些曾经平静生活在地球上的动物因为人类活动而骤然灭绝。如今更是每天都有100...

    新智元
  • 大数据方向实习生该如何准备?

    最近逃离学校在某大数据公司实习,虽然我不认为大数据像现在很多人说的那么邪乎,但是我认为互联网时代所带来的大量数据是很有价值的。所以便在这个公司...

    机器学习AI算法工程
  • 详解 | 滴滴大数据预测用户目的地,准确率超90% | KDD 2017

    AI科技评论按:在KDD 2017中滴滴研究院副院长叶杰平所带的滴滴团队关于出租车组合优化分单模型和目的地预测的论文《A Taxi Order Dispatch...

    AI科技评论
  • 时间序列预测全攻略(附带Python代码)

    原文作者:AARSHAY JAIN 36大数据翻译,http://www.36dsj.com/archives/43811 时间序列(简称TS)被认为是分...

    机器学习AI算法工程
  • 【美团;大众点评】相杀变相爱,技术架构怎么变?

    10月8日中午,大众点评和美团正式宣布合并。美团CEO(首席执行官)王兴即时发出内部邮件:“从相杀到相爱转变只需一个长假,从爱情到婚姻事业必须长期经营。这个转变...

    新智元
  • 数据挖掘工程师的面试问题与答题思路

    机器学习、大数据相关岗位根据业务的不同,岗位职责大概分为: 1、平台搭建类   数据计算平台搭建,基础算法实现,当然,要求支持大样本量、高维度数据,所以可能...

    机器学习AI算法工程
  • 有哪些网站用爬虫爬取能得到很有价值的数据?

    作者:林骏翔 想做数据,首先从获取数据开始。但是对于需要获取什么数据,数据可以干什么,很多人还是一头雾水,知乎达人林骏翔给出了参考。 题主问了有什么网站,能用...

    机器学习AI算法工程
  • 运用Spark进行交通数据案例分析:大型活动大规模人群的检测与疏散

    作者: 科赛网 汪梦梦 邓以勒 今天主要是以一个数据分析者的角度来与大家分享如何使用spark进行大数据分析。 ? 我将分以下4部分为大家进行介绍。首先介...

    机器学习AI算法工程
  • 数据科学家需要怎样的技能组合?

    原文:http://developer.51cto.com/art/201604/508969.htm 在2016年的美国,数据科学家已经被冠以“最佳工作”的头...

    机器学习AI算法工程
  • Twitter 数据分析师: 我们实际工作内容究竟是哪些

    今天就让我们走进 Twitter 的数据分析世界,看看科技公司对于一个数据分析师的要求是什么?他们的实际工作内容究竟是哪些? ...

    机器学习AI算法工程

扫码关注云+社区

领取腾讯云代金券