专栏首页腾讯高校合作犀牛鸟视野|现场报道 SIGMOD 2019 数据库顶级会议 (下篇)

犀牛鸟视野|现场报道 SIGMOD 2019 数据库顶级会议 (下篇)

导语:

ACM SIGMOD/PODS 2019 数据管理国际会议6月30日到7月5日在荷兰首都阿姆斯特丹召开。腾讯技术团队直击现场第一时间带回大会盛况

回顾SIGMOD第一天大会Keynote主题为“Responsible Data Science”,而第二天的Keynote主题是区块链,更偏应用一些,由IBM Almaden研究中心的著名数据库研究员C. Mohan报告。他自从2016年以来重点研究和推广区块链技术,据统计已经在全世界十几个国家做过相关的报告。区块链技术经过了十年的发展,至今还存在一些争议。本次报告主要集中在私有区块链系统的相关技术,也比较了传统数据库与区块链技术并指出了未来的研究方向。

SIGMOD Keynote: State of Public and Private Blockchains: Myths and Reality

在第二天SIGMOD大会中,华中科技大学与腾讯TEG云架构平台部CDB数据库团队合作的学术论文“An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning”(以下简称CDBTune论文)作为“分布式数据管理”主题的第一篇论文出现。

参数调优是云数据库性能优化的重要方法,由于数据库参数较多,关系复杂,人工调优有着效率低和成本高的问题。同时,现有的一些研究使用的方法有一些限制,包括:

·使用pipeline的机器学习方法而不是端到端的方式

·需要大量的高质量样本来进行参数调优

·无法调优高维并连续的参数

·不具有较好的适应性应对云上的环境等

因此论文提出了一种端到端的自动参数调优系统CDBTune,来应对这些挑战。CDBTune使用深度强化学习方法(DDPG)在高维连续空间中寻找更优配置。整体架构如图所示:

CDBTune使用try-and-error的策略,使用少量的样本初始化训练,使用reward-feedback机制来代替传统的回归方法,进行端到端学习并加快收敛速度。

从实验结果来看,CDBTune具有较好的性能调优结果,并且有较好的泛化能力。

论文题目:An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning

论文原文链接:https://dl.acm.org/citation.cfm?doid=3299869.3300085

腾讯团队与华中科技大学团队合影

此外,我们还重点关注了“现代硬件”主题。它包含6篇论文,涉及到多核环境下的日志处理和恢复、NUMA环境下的数据流处理、RDMA硬件下的索引设计、GPU对矩阵计算和图处理的加速等。结合会议前期举办的专题研讨(DaMoN:新硬件上的数据管理技术),可以发现新硬件技术的发展对数据库的研究和设计具有强大的影响,相关的研究涉及多核、RDMA、FPGA、GPU、NVM存储等各种各样的新型硬件。

当天的会议还包括查询处理和优化、数据溯源(Provenance)、流处理(Streams)、数据集成/数据清洗、图处理(Graphs)等学术主题,以及一个工业主题“存储和索引”。值得重视的是,SIGMOD会议期间一共有三场图处理的主题会议,而查询处理和优化也涉及很多图的处理,可以看出图处理是一个非常热门的研究领域。

SIGMOD第三天上午以颁奖会开始,其中工业界密切关注的奖项System Award由亚马逊的Aurora团队获得,以表彰其对云环境下的关系数据库存储做出的全新设计。

随后进行的报告主题中包括研究类的“系统和机器学习”、“索引技术”、“公平性和非确定性”、“图处理”、“机器学习”、“可扩展性”以及工业界的“数据平台”。“索引技术”主题中有4篇论文,其中IBM的论文“Designing Succinct Secondary Indexing Mechanism by Exploiting Column Correlations”通过发掘数据列之间的关联关系来创建精简的索引结构。微软的“AI Meets AI: Leveraging Query Executions to Improve Index Recommendations”则通过AI技术来实现索引的自动创建,与SQL Server的产品功能关系密切。从产品实现的角度看,这二者提出的方法相对容易被集成到关系数据库产品中去。

此外,“数据平台”主题中的“Socrates: The New SQL Server in the Cloud”,采用了与亚马逊Aurora类似的架构设计,但在逻辑层次上将数据库日志作为独立的一层,论文讨论的实现细节和总结的系统设计理念都比较有参考价值。该论文入选大会可以看做是对Aurora获得系统设计奖项的呼应。

在大会期间,腾讯犀牛鸟之夜活动也迎来了参与盛会的优秀学者们欢聚一堂,探讨技术热点,探索产学合作创新模式。

犀牛鸟之夜搭建学者间交流的平台

本文分享自微信公众号 - 腾讯高校合作(Tencent_UR)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-07-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【人物】胡事民:做一个懂学生的老师

    本文转自清华大学计算机系校友会官方公众帐号 胡事民,1968年生于浙江长兴。1986年考入吉林大学数学系;1990年免试进入浙江大学数学系攻读硕士学位,师从金以...

    腾讯高校合作
  • 【犀牛鸟·视野】现场报道 | SIGGRAPH Asia 2017 (DAY 3):展会深度探索、VR刺激体验

    11月28号上午十点,众人期待的Exhibition Hall向参观者开放了。众多厂家&研究机构带来了他们的最新技术和丰富的案例。有知名游戏引擎厂商unity、...

    腾讯高校合作
  • 松涛如山,初心不忘——中国计算机学会与腾讯共同为沈昌祥院士、魏道政研究员颁发CCF终身成就奖

    1月11日,2019年度“中国计算机学会颁奖大会暨理事长就职典礼”在京隆重举行。两位备受尊重的专家,海军计算技术研究所沈昌祥院士和中国科学院计算技术研究所魏道...

    腾讯高校合作
  • Is this a MS EnterLib DAAB BUG or not?

    开门见山,使用MS Enterprise Library的DAAB(Data Access Application Block)获取数据时抛出异常。具体场景如下...

    蒋金楠
  • 动手为王 - 整合迁移与数据恢复实践

    作者简介: ? 李真旭(Roger) 云和恩墨西北区技术总监,Oracle ACE, ACOUG 核心专家 对于数据库升级迁移,这两年是一个非常热门的话题,尤其...

    数据和云
  • 中小型企业IDC机房数据库迁移上云的最佳实践

    本文主要介绍中小型互联网企业,从本地机房迁移数据库到腾讯云的实践方法。其中包含了详细数据库迁移的方法和步骤,并且增加了实践演练和验证。实践与验证部分内容以常见的...

    邵聪 SHAO CONG
  • 《推荐系统实践》—— 读后总结

    在刚刚毕业的时候,当时的领导就问了一个问题——个性化推荐与精准营销的区别,当时朦朦胧胧回答不出。现在想想,他们可以说是角度不同。精准营销可以理解为帮助物品寻找...

    用户1154259
  • 特斯拉发布Autopilot 2.0,自动驾驶离我们更近一步

    Tesla新发布了Autopilot2.0的系统,主要做了以下的更改,从1个摄像头增加至8个摄像头。官网的信息如下 我们非常激动地宣布,从今天开始,所有在工厂生...

    BestSDK
  • 用PS拼一张海报

    简单并不简单
  • 新零售的驱动力正在失焦

    实质上,我们看到的仅仅只是新零售的表象,真正意义上的新零售更加关注的是对于行业的深层次改造以及由这些深度改造所带来的对于人们消费需求的满足。

    孟永辉

扫码关注云+社区

领取腾讯云代金券