腾讯数据平台部获CCF企业最高奖——科学技术卓越奖
腾讯数据平台部获CCF企业最高奖——科学技术卓越奖
CNCC2017举行了盛大的颁奖晚宴，颁发本年度CCF科学技术奖、CCF-IEEE CS青年科学家奖、CCF海外杰出贡献奖、CCF王选奖，主要奖励在计算机及相关领域科学研究、技术创新与开发、科技成果推广应用和实现产业化方面取得卓著成绩或者做出突出贡献的个人和集体，腾讯成为面向企业的最高奖项获得者之一。
腾讯获奖项目：
互联网大数据实时处理与分析平台
随着网络与社会生活的深度融合，UGC内容、多媒体、IOT等形态各异的数据正在以前所未有的速度和规模产生。如何低成本的存储与处理数据，打通数据孤岛，有效利用和发掘数据的要素价值，并为大数据的分级受控与流转提供平台和监管，缓解企业在数据处理、运营、人员能力匹配方面所面临的巨大压力，均对传统的数据库与计算平台提出严峻挑战。
腾讯技术工程事业群数据平台部从2009年开始全面投入大数据领域研发与运营，经历了从数据规模化到实时化以及当前的智能化的三段式发展，通过多年实战磨砺，我们有了重大突破，能够有效支持超过2万个节点的大数据集群管理，支持了10亿用户日均10万亿数据的实时接入，所研发的千亿级数据记录、万级维度的秒级实时多维分析产品，支持了10亿用户的全景用户画像服务。通过数据驱动保障腾讯内部各业务的持续健康发展。
围绕着数据接入、分发、资源调度和数据分析我们主要有如下突破：
1、十万亿级数据的实时化接入处理：我们通过在数据管道的架构层面进行优化，强化数据分发网络的多层动态背压策略，能够支撑当前10万亿／天的实时数据接入。
2、万级集群的秒级高效资源调度：我们围绕着优化资源调度的触发行为与匹配策略，通过丰富资源管控粒度，能够支撑当前超过2万台服务器的统一集群调度，秒级资源匹配并达到超过80%的高资源利用率。
3、千亿数据万级维度的实时数据分析：我们基于倒排索引和嵌套列的存储进行深度定制优化，结合位图计算，能够实现千亿级数据万级维度的秒级分析，高效支持10亿用户的统一画像服务。
腾讯大数据平台通过近十年持续稳定地运营国内最庞大、最丰富的数据体系，在技术和运营都形成了深厚的积淀。我们开源了TDW和Angel平台，开放了这些年的海量大数据处理经验和先进技术，积极促进了技术社区的良性发展。通过技术和服务的产品化，我们向金融、政务、安全、制造、物流等领域进行能力输出，促进融合开放，打造良性创新生态系统，加速大数据产业的整体发展。
CNCC活动现场腾讯大数据团队在展示区向参会人员展示了数据应用成果。
CNCC2017大会期间，举办了2016 国家奖与 2017 CCF 科学技术奖成果交流会，会议主席、CCF副理事长孙凝晖研究员及 CCF 秘书长杜子德研究员做为嘉宾出席并致辞。会议邀请了2016国家自然科学二等奖获得者中科院数学院吕金虎研究员、技术发明二等奖获得者清华大学徐恪教授、北京航空航天大学吕卫锋教授进行了国家奖成果特邀报告，随后会议还邀请了此次CCF 科学技术奖自然科学一等奖获得者代表北京邮电大学马华东教授与清华大学朱军副教授、技术发明一等奖获得者代表中科院计算所陈益强研究员与深鉴科技单羿博士、科技进步卓越奖获得者代表腾讯陈鹏和滴滴盛克华做出2017 CCF 科学技术奖成果特邀报告。
会上，陈鹏针对互联网大数据实时处理与分析平台向现场观众做了细致的分享。作为一家具有万亿级别数据量的企业，陈鹏介绍了腾讯大数据的发展历程及背后的 Gaia 资源调度管理的一系列运营数据。面向自 2015 年至今进入的机器学习的时代，腾讯所具备的机器学习的能力支持十亿维度，解决超大规模数据训练效率问题。通过去中心化、扩缩容、灾备和数据分级等措施，保证腾讯在日常数据操作及特殊事件应急的系统安全性。
