专栏首页AI科技大本营的专栏性能全面超数据库专家,腾讯提基于机器学习的性能优化系统 | SIGMOD 2019

性能全面超数据库专家,腾讯提基于机器学习的性能优化系统 | SIGMOD 2019

腾讯与华中科技大学合作的最新研究成果入选了国际数据库顶级会议SIGMOD的收录论文,并将于6月30日在荷兰阿姆斯特丹召开SIGMOD 2019国际会议上公开发表。

入选论文的题目为“An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning”,此项研究突破性的实现了基于AI技术的数据库性能调优结果首次全面超越数据库专家经验判断的传统方法。该成果由华中科技大学武汉光电国家研究中心周可教授团队和腾讯技术工程事业群云架构平台部CDB数据库团队合作完成,博士生张霁为第一作者。

智能云存储技术联合研究中心由腾讯与华中科技大学于2018年成立,旨在通过强强联合,建设一流的智能云存储技术创新和人才培养平台。通过吸引汇聚顶尖专业人才,腾讯与华中科技大学在分布式存储技术、高性能存储引擎、业务负载预测等方面开展联合技术攻关,突破超大规模云存储服务系统的诸多技术难题,推动智能云存储技术的科技创新及技术应用落地。本次入选的论文,正是智能云存储技术联合研究中心的联合研究成果之一。

SIGMOD数据管理国际会议是数据库领域具有最高学术地位的国际性学术会议,位列数据库方向顶级会议之首。

随着云计算的迅速发展,中小型企业通过购买云数据库服务系统,来代替自建和维护数据库服务系统的情况越来越多,以便节约人力物力。然而,大多数用户在购买云数据库服务系统后仅仅停留在使用层面上,在使用过程中经常遇到数据库系统性能下降的情况。

由于缺少数据库管理系统性能优化的经验,用户很难发现导致数据库系统性能下降的原因并有效地解决,这就需要云服务提供商为用户及时地调整数据库系统参数,以保证数据库的性能维持在一个较优的状态。对于拥有数十万计用户实例的云服务提供商来说,完全依赖数据库专家进行数据库参数调优显然是不现实的,如何利用AI技术解决数据库系统性能问题已经变得越来越重要和紧迫。

该文首次提出了一种基于深度强化学习的端到端的云数据库自动性能优化系统CDBTune,如图1所示。该系统可以在缺少相关经验数据训练的情况下建立优化模型,为云数据库用户提供在线自动优化数据库性能的服务,性能调优结果首次全面超越数据库专家,这将大幅提高数据库运维效率。

图1 强化学习与数据库性能优化关系图

如图2所示,在多种不同负载和不同类型的数据库下进行的大量实验证明,CDBTune性能优化结果明显优于目前已有数据库调优工具和DBA专家。即使在弹性云环境下,用户购买数据库内存或磁盘大小发生变化,或负载发生变化(类型不变)的情况下,实验证明CDBTune依然保持了较好的适应能力。

图2 CDBTune性能测试结果

在实际系统中,如图3所示,当用户或者系统管理员有数据库性能优化需求时,可以通过相应的交互接口提出调参优化请求,此时云端的控制器通过给智能优化系统发出调参请求,并根据用户真实负载建立的深度强化学习模型推荐出的相应的参数配置,然后将该配置在数据库中进行设置。反复执行上述的执行过程,直到待调参的数据库性能满足用户或系统管理员的需求即停止调参。

图3 CDBTune系统交互图

对于该论文,SIGMOD评审委员的评价是:“本文是关于利用机器学习方法优化数据库的技术,这是一个令人振奋的新领域。 特别是它使用了强化学习的方法。这篇文章不仅仅是简单地抛出一个机器学习技术,而且非常好地解释了机器学习是如何与特定的问题进行完全的匹配,同时也阐述了与传统机器学习术语之间的类比问题。鉴于在数据库社区中并非每个人都能对这些技术了如指掌,这也是一种教学方式,因此我们非常赞赏这篇文章。”

每年SIGMOD会议都会吸引大量全球学术组织和工业界数据库研究人员参会和分享,也汇聚了学术界和工业界在数据库领域最前沿的技术研究动向。

(*本文为 AI科技大本营转载文章,转载请联系连作者)

本文分享自微信公众号 - AI科技大本营(rgznai100),作者:CSDN APP

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-06-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 数据库设计的10个最佳实践

    数据库是应用及计算机的核心元素,负责存储运行软件应用所需的一切重要数据。为了保障应用正常运行,总有一个甚至多个数据库在默默运作。我们可以把数据库视为信息仓库,以...

    AI科技大本营
  • 周末漫谈 | 如何评价 DeepMind 新提出的关系网络(Relation Network)?

    本周话题 过去两周,Google旗下的DeepMind颇为引人瞩目,开发出了适用于关系推理的人工神经网络,从而让机器具备推理、理解不同物体之间错综复杂关系的能力...

    AI科技大本营
  • 将成为数据库主流的HTAP,它能替代Oracle吗?

    11 月 17 日,金山办公登陆科创版,圆了小米集团创始人、金山软件董事长雷军和金山所有员工的“英雄梦”。算下来,从 1999 年以金山办公为业务主体准备上市算...

    AI科技大本营
  • 【犀牛鸟·硬核】腾讯-华中科技大学联合实验室最新研究成果入选SIGMOD国际顶级会议研究类长文

    ? 前言:腾讯与华中科技大学于2018年成立智能云存储技术联合研究中心,联合研究中心旨在通过强强联合建设一流的智能云存储技术创新和人才培养平台,吸引汇聚顶尖专...

    腾讯高校合作
  • 首届鹅厂DB吐槽大会,约你来战

    导语 | 使用数据库的过程中,总有那么些问题不吐不快?成本高、灾备不好做、运维耗时耗力、半天找不到故障原因?那这边建议您体验云数据库,打开新的“槽点世界”~ ...

    腾讯云数据库 TencentDB
  • 生信分析也能零代码发3分的SCI

    经常有小伙伴跟我抱怨,没时间没精力去学代码,太复杂了。当然也有些小伙伴确实打起精神开始学,从网上搜了一大堆R语言资料,和生物信息学资料,甚至还买了本R语言实战的...

    微点
  • 奖学金评比系统(数据库系统设计版)

    在奖学金评比过程中,学生综合测评是学校普遍采用的评比手段。对学生实施综合素质测评的目的在于正确评价学生的综合素质,为评奖学金提供依据,实现学生教育管理工作的标准...

    用户1621453
  • Python接口测试之对MySQL的操作(六)

    本文章主要来说python对mysql数据库的基本操作,当然,前提是已经搭建了python环境和搭建了Mysql数据库的环境,python操作m...

    无涯WuYa
  • 书目和数据库的世界纪录

    写过图书馆和书籍的世界纪录以后,今天还有最后一部分。 与信息处理技术有关的世界纪录。 (图片说明:装置艺术,为一本书通电。) 1. 最早的图书分类法 以前,图书...

    ruanyf
  • 国产数据库趋势明朗,国内市场估值有多大?

    数据库是按照数据结构来组织、存储和管理数据的仓库。通俗理解,数据库被视为电子资料柜,用户可以线上对资料柜中的数据进行各种合法操作,如添加数据,更新数据,删除数据...

    用户7261497

扫码关注云+社区

领取腾讯云代金券