【犀牛鸟·硬核】腾讯-华中科技大学联合实验室最新研究成果入选SIGMOD国际顶级会议研究类长文

前言：腾讯与华中科技大学于2018年成立智能云存储技术联合研究中心，联合研究中心旨在通过强强联合建设一流的智能云存储技术创新和人才培养平台，吸引汇聚顶尖专业人才，在分布式存储技术、高性能存储引擎、业务负载预测等方面开展联合技术攻关，突破超大规模云存储服务系统的诸多技术难题，推动智能云存储技术的科技创新及技术应用落地。

SIGMOD数据管理国际会议是数据库领域具有最高学术地位的国际性学术会议，位列数据库方向顶级会议之首。今年腾讯技术工程事业群云架构平台部CDB数据库团队的最新研究成果入选SIGMOD 2019 Research Full Paper（研究类长文），入选论文的题目“An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning”。该研究成果由华中科技大学武汉光电国家研究中心周可教授团队（博士生张霁为第一作者）和腾讯TEG云架构平台部CDB数据库团队合作完成。此项研究作为双方成立的智能云存储技术联合研究中心的项目之一，基于AI技术的数据库性能调优结果首次全面超越数据库专家。

随着云计算的迅速发展，中小型企业购买云数据库服务系统而避免自建和维护数据库服务系统的情况越来越多，这样可以节约大量的人力物力。然而，大多数用户在购买云数据库服务系统后仅仅停留在使用层面上，在使用过程中数据库系统的性能经常下降，用户由于缺少数据库管理系统性能优化的经验，很难发现导致数据库系统性能下降的原因并有效地解决，这就需要云服务提供商为用户及时地调整数据库系统参数，以保证数据库的性能。对于拥有数十万计用户实例的云服务提供商来说，完全依赖数据库专家进行数据库参数调优显然是不现实的，如何利用AI技术解决数据库系统性能问题已经变得越来越重要和紧迫。该文首次提出了一种基于深度强化学习的端到端的云数据库自动性能优化系统CDBTune，如图1所示。该系统可以在缺少相关经验数据训练的情况下建立优化模型，为云数据库用户提供在线自动优化数据库性能的服务，性能调优结果首次全面超越数据库专家，这将大幅提高数据库运维效率。

▲图1  强化学习与数据库性能优化关系图

如图2所示，通过在多种不同负载和不同类型的数据库下进行大量实验证明， CDBTune性能优化结果明显优于目前已有数据库调优工具和DBA专家。而且在弹性云环境下，用户购买数据库内存或磁盘大小发生变化，或负载发生变化（类型不变）的情况下，实验证明CDBTune依然保持了较好的适应能力。

性能比较

 内存/磁盘容量变化对模型的影响

▲图2  CDBTune性能测试结果

在实际系统中，如图3所示，当用户或者系统管理员有数据库性能优化需求时，可以通过相应的交互接口提出调参优化请求，此时云端的控制器通过给智能优化系统发出调参请求，并根据用户真实负载建立的深度强化学习模型推荐出的相应的参数配置，然后将该配置在数据库中进行设置。反复执行上述的执行过程，直到待调参的数据库性能满足用户或系统管理员的需求即停止调参。

▲图3  CDBTune系统交互图

对于该论文，SIGMOD评审委员会做出如下点评：The paper is on the exciting new area of tuning databases with machine learning. Specifically using reinforcement learning. It does not just throw machine learning techniques but it does a good effort to explain how the techniques exactly match to the particular problem, what are the analogies with more traditional machine learning terminology, etc. Given that not everyone is knowledgeable in these techniques in the DB community this works in an educational way as well and is very much appreciated. 

每年SIGMOD会议都会汇聚全球学术组织和工业界数据库研究人员参会和分享，在这里可以了解到学术界和工业界在数据库领域最前沿的技术研究动向。SIGMOD 2019会议将于2019年6月30日在荷兰阿姆斯特丹召开，届时论文也将公开发表。

7月4日，腾讯高校合作将举行“犀牛鸟之夜@SIGMOD”活动，诚邀学界专家、学者

相聚在美丽的阿姆斯特丹，畅谈科技，共话未来。

（活动召集人：赵跃，腾讯高校合作，peggyzhao@tencent.com）

欢迎报名参加“犀牛鸟之夜@SIGMOD”

扫码或点击阅读原文

注：本活动将根据研究领域及报名顺序确认参与名额，并通过电子邮件正式通知。