现场报道 SIGMOD 2019 数据库顶级会议

| 导语ACM SIGMOD/PODS 2019 数据管理国际会议于6月30日到7月5日在荷兰首都阿姆斯特丹召开。腾讯技术团队直击现场第一时间带回大会盛况。

SIGMOD第一天大会Keynote主题为“Responsible Data Science”；第二天的Keynote主题是区块链，更偏应用一些,由IBM Almaden研究中心的著名数据库研究员C. Mohan报告。他自从2016年以来重点研究和推广区块链技术，据统计已经在全世界十几个国家做过相关的报告。区块链技术经过了十年的发展，至今还存在一些争议。本次报告主要集中在私有区块链系统的相关技术，也比较了传统数据库与区块链技术并指出了未来的研究方向。

SIGMOD Keynote: State of Public and Private Blockchains: Myths and Reality

在第二天SIGMOD大会中，华中科技大学与腾讯TEG云架构平台部CDB数据库团队合作的学术论文“An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning”（以下简称CDBTune论文）作为“分布式数据管理”主题的第一篇论文出现。

参数调优是云数据库性能优化的重要方法。由于数据库参数较多，关系复杂，人工调优有着效率低和成本高的问题。同时，现有的一些研究使用的方法有一些限制，包括：

1. 使用pipeline的机器学习方法而不是端到端的方式

2. 需要大量的高质量样本来进行参数调优

3. 无法调优高维并连续的参数

4. 不具有较好的适应性应对云上的环境等

因此论文提出了一种端到端的自动参数调优系统CDBTune，来应对这些挑战。CDBTune使用深度强化学习方法（DDPG）在高维连续空间中寻找更优配置。整体架构如图所示：

CDBTune使用try-and-error的策略，使用少量样本初始化训练，使用reward-feedback机制来代替传统的回归方法，进行端到端学习并加快收敛速度。

从实验结果来看，CDBTune具有较好的性能调优结果，并且有较好的泛化能力。

论文题目：An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning

论文原文链接：https://dl.acm.org/citation.cfm?doid=3299869.3300085

腾讯团队与华中科技大学团队合影

此外，我们还重点关注了“现代硬件”主题。它包含6篇论文，涉及到多核环境下的日志处理和恢复、NUMA环境下的数据流处理、RDMA硬件下的索引设计、GPU对矩阵计算和图处理的加速等等。结合会议前期举办的专题研讨（DaMoN：新硬件上的数据管理技术），可以发现新硬件技术的发展对数据库的研究和设计具有强大的影响，相关的研究涉及多核、RDMA、FPGA、GPU、NVM存储等各种各样的新型硬件。

当天的会议还包括查询处理和优化、数据溯源（Provenance）、流处理（Streams）、数据集成/数据清洗、图处理（Graphs）等学术主题，以及一个工业主题“存储和索引”。值得重视的是，SIGMOD会议期间一共有三场图处理的主题会议，而查询处理和优化也涉及很多图的处理，可以看出图处理是一个非常热门的研究领域。

SIGMOD第三天上午以颁奖会开始，其中工业界密切关注的奖项System Award由亚马逊的Aurora团队获得,以表彰其对云环境下的关系数据库存储做出的全新设计。

随后进行的报告主题中包括研究类的“系统和机器学习”、“索引技术”、“公平性和非确定性”、“图处理”、“机器学习”、“可扩展性”以及工业界的“数据平台”。“索引技术”主题中有4篇论文，其中IBM的论文“Designing Succinct Secondary Indexing Mechanism by Exploiting Column Correlations”通过发掘数据列之间的关联关系来创建精简的索引结构。微软的“AI Meets AI: Leveraging Query Executions to Improve Index Recommendations”则通过AI技术来实现索引的自动创建，与SQL Server的产品功能关系密切。从产品实现的角度看，这二者提出的方法相对容易被集成到关系数据库产品中去。

此外，“数据平台”主题中的“Socrates: The New SQL Server in the Cloud”，采用了与亚马逊Aurora类似的架构设计，但在逻辑层次上将数据库日志作为独立的一层，论文讨论的实现细节和总结的系统设计理念都比较有参考价值。该论文入选大会可以看做是对Aurora获得系统设计奖项的呼应。

在大会期间，腾讯犀牛鸟之夜活动也迎来了参与盛会的优秀学者们欢聚一堂，探讨技术热点，探索产学合作创新模式。

腾讯数据库技术团队对内支持微信红包，彩票、数据银行等集团内部业务，对外为腾讯云提供各种数据库产品，如CDB、CTSDB、CKV、CMongo， 腾讯数据库技术团队专注于增强数据库内核功能，提升数据库性能，保证系统稳定性并解决用户在生产过程中遇到的问题，并对生产环境中遇到的问题及知识进行分享。