专栏首页腾讯云数据库(TencentDB)腾讯云数据库亮相数据库顶级会议SIGMOD
原创

腾讯云数据库亮相数据库顶级会议SIGMOD

| 导语ACM SIGMOD/PODS 2019 数据管理国际会议于6月30日到7月5日在荷兰首都阿姆斯特丹召开。腾讯技术团队直击现场第一时间带回大会盛况。

SIGMOD第一天大会Keynote主题为“Responsible Data Science”;第二天的Keynote主题是区块链,更偏应用一些,由IBM Almaden研究中心的著名数据库研究员C. Mohan报告。他自从2016年以来重点研究和推广区块链技术,据统计已经在全世界十几个国家做过相关的报告。区块链技术经过了十年的发展,至今还存在一些争议。本次报告主要集中在私有区块链系统的相关技术,也比较了传统数据库与区块链技术并指出了未来的研究方向。

SIGMOD Keynote: State of Public and Private Blockchains: Myths and Reality

在第二天SIGMOD大会中,华中科技大学与腾讯TEG云架构平台部CDB数据库团队合作的学术论文“An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning”(以下简称CDBTune论文)作为“分布式数据管理”主题的第一篇论文出现。

参数调优是云数据库性能优化的重要方法。由于数据库参数较多,关系复杂,人工调优有着效率低和成本高的问题。同时,现有的一些研究使用的方法有一些限制,包括:

1. 使用pipeline的机器学习方法而不是端到端的方式

2. 需要大量的高质量样本来进行参数调优

3. 无法调优高维并连续的参数

4. 不具有较好的适应性应对云上的环境等

因此论文提出了一种端到端的自动参数调优系统CDBTune,来应对这些挑战。CDBTune使用深度强化学习方法(DDPG)在高维连续空间中寻找更优配置。整体架构如图所示:

CDBTune使用try-and-error的策略,使用少量样本初始化训练,使用reward-feedback机制来代替传统的回归方法,进行端到端学习并加快收敛速度。

从实验结果来看,CDBTune具有较好的性能调优结果,并且有较好的泛化能力。

论文题目:An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning

论文原文链接:https://dl.acm.org/citation.cfm?doid=3299869.3300085近日,腾讯与华中科技大学合作发布了最新研究论文 《An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning》,该论文首次提出了一种基于深度强化学习的端到端的云数据库自动性能优化系统 CDBTune,该系统可以在缺少相关经验数据训练的情况下建立优化模型,为云数据库用户提供在线自动优化数据库性能的服务,性能调优结果首次全面超越数据库专家,将大幅提高数据库运维效率。该论文已经被国际数据库顶级会议 SIGMOD 收录,将于 6 月 30 日在荷兰阿姆斯特丹召开的 SIGMOD 2019 国际会议上公开发表。该成果由华中科技大学武汉光电国家研究中心周可教授团队和腾讯技术工程事业群云架构平台部 CDB 数据库团队合作完成,博士生张霁为第一作者。

对于该论文,SIGMOD 评审委员会给出了极高的评价:

The paper is on the exciting new area of tuning databases with machine learning. Specifically using reinforcement learning. It does not just throw machine learning techniques but it does a good effort to explain how the techniques exactly match to the particular problem, what are the analogies with more traditional machine learning terminology, etc. Given that not everyone is knowledgeable in these techniques in the DB community this works in an educational way as well and is very much appreciated.

(本文是关于利用机器学习方法优化数据库的技术,这是一个令人振奋的新领域。 特别是它使用了强化学习的方法。这篇文章不仅仅是简单地抛出一个机器学习技术,而且非常好地解释了机器学习是如何与特定的问题进行完全的匹配,同时也阐述了与传统机器学习术语之间的类比问题。鉴于在数据库社区中并非每个人都能对这些技术了如指掌,这也是一种教学方式,因此我们非常赞赏这篇文章。)

AI 前线第一时间联系到腾讯 TEG 云架构平台部 CDB 数据库团队进行了独家专访,内容整理如下:

CDBTune 因何而生?

随着自研业务以及腾讯云上数据库实例规模不断高速增长,团队发现对于很多腾讯数据库 CDB 的使用者来说,由于缺少丰富的数据库性能优化经验,很难发现导致数据库性能下降的原因并有效解决。而对于 CDB 团队来说,完全依赖数据库专家进行数据库参数调优代价昂贵且不现实。

在 CDBTune 之前,业界对于数据库性能自动调优也有一些类似工作。大概有两个方向:

  • 第一个方向主要利用启发式搜索的方法缩小高维配置空间。这种方法不利用任何历史经验数据,因此在每个调参任务开始时都需要从 0 开始,调参效率较低。
  • 另外一个方向是采用流水线方式的传统机器学习方法,导致推荐配置有一定的误差。而且需要大量高质量的经验数据进行模型训练,提高了学习门槛。

CDBTune 主要的目标就是解决两个问题:降低学习门槛和提升调参效率。

CDBTune 工作原理

CDBTune 的工作过程主要分为离线训练和在线调优两个步骤。离线训练就是用一些标准的负载生成器对数据库进行压测,边收集训练数据,边训练一个初步的配置推荐模型。当用户或者系统管理员有数据库性能优化需求时,可以通过相应的交互接口提出在线调参优化请求,此时云端的控制器通过给智能优化系统发出在线调参请求,并根据用户真实负载对之前建立好的初步模型进行微调,然后将模型微调后推荐出的相应的参数配置在数据库中进行设置。反复执行上述过程,直到待调参的数据库性能满足用户或系统管理员的需求即停止调参。

CDBTune 系统交互图

对于为什么要在系统中采用强化学习,CDB 数据库团队表示,强化学习可以边生成数据边训练模型,而且强化学习既可以在成功中学习,也可以在失败中学习,因此它对前期训练样本的质量要求不会非常高,降低了学习建模的门槛。在 CDBTune 系统中,强化学习主要通过激励信号(数据库性能的变化)优化配置推荐网络,使得推荐出来的配置参数更为合理。

强化学习与数据库性能优化关系图

CDBTune 性能表现

CDB 团队主要采用并发和延时两个指标来衡量数据库的性能。论文从整体性能比较(推荐时间、推荐结果),不同可调参数个数的影响比较,在弹性云环境下(用户内存和磁盘空间变化)CDBTune 的适应能力等三大方面对 CDBTune 进行考量。

推荐耗时比较

为了了解不同步骤在训练和调优过程中所需要的耗时,团队记录了每个步骤的平均运行时间。每个步骤的运行时间为 5 分钟,主要又细分为 5 个部分(不包括重启 CDB 的 2 分钟),如下所示:

(1)压力测试时间(152.88 秒):工作负载的运行时间 用于收集数据库当前度量的工作负载生成器的运行时间。

(2)度量收集时间(0.86 ms):从内部度量获取状态向量并通过外部指标计算奖励的运行时间。

(3)模型更新时间(28.76 ms):在一次训练过程中神经网络前向计算和反向传播的运行时间。。

(4)推荐时间(2.16 ms):从输入数据库状态到输出推荐配置的运行时间。

(5)部署时间(16.68 秒):从输出推荐配置到根据 CDB 的 API 接口部署配置的运行时间。

对于离线训练,CDBTune 在 266 种推荐配置上训练完成需要大约 4.7 小时,在 65 种推荐配置上训练需要 2.3 小时。请注意,配置数会影响离线训练时间,但不会影响在线调优的时间。对于在线调优,每个调优请求分 5 步执行 CDBTune,总的耗时为 25 分钟。

另外,团队将 CDBTune 的在线调优效率与 OtterTune、BestConfig 和 DBA 进行对比,结果如下表所示。

其中,只有 CDBTune 需要离线训练,但它只需要进行一次训练就可以使用该模型进行在线调优,而 OtterTune 在每一次收到在线调优请求的时候都需要重新训练模型,BestConfig 则需要进行在线搜索。如下表所示,对于每个调优请求,OtterTune 需要 55 分钟,BestConfig 需要大约 250 分钟,DBA 需要 8.6 小时,而 CDBTune 只需要 25 分钟。在对比实验中,研发团队邀请了 3 位 DBA 来调整参数并选择其中的最佳结果。 DBA 需要大约 2 个小时才能开始执行工作负载重放并找到影响数据库性能的因素(例如,分析源代码中最耗时的函数,然后定位原因,并找到相对应可以调整的配置),这个过程通常需要丰富的经验和大量的时间。

推荐性能比较

如下图所示,CDB 团队在多种不同负载和不同类型的数据库下进行的大量实验证明,CDBTune 性能优化结果明显优于目前已有数据库调优工具和 DBA 专家。即使在弹性云环境下,用户购买数据库内存或磁盘大小发生变化,或负载发生变化(类型不变)的情况下,实验证明 CDBTune 依然保持了较好的适应能力。更多对比结果和数据在论文中有详细说明。

CDBTune 性能测试结果 1:性能比较

CDBTune 性能测试结果 2:内存 / 磁盘容量变化对模型的影响

据了解,CDBTune 不仅仅适用于云数据库,对于本地数据库同样也表现出了优异的性能,实验结果可以查阅论文的附录部分。

下一步计划

目前 CDBTune 在在线推荐配置时还需要花大约 25 分钟左右的时间,CDB 团队希望进一步压缩该时间,降低用户等待时间,从而提高用户体验。另外,目前团队正在进行 CDBTune 的产品化工作,相信过不了多久大家就可以在腾讯云上体验这项研究成果,研究团队也将继续寻求技术突破,以期在数据库调参领域取得更多成果。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • “区块链+云计算”是概念还是未来

    据媒体日前报道,谷歌正在研究,如何将区块链技术应用于云计算服务。如今,很多企业都在使用区块链和数字分布式账本技术来安全地记录、交易互联网数据,而过去,这一领域则...

    CloudBest
  • 传谷歌即将推出云计算区块链产品

    谷歌的一名人士表示,公司内部的多支团队正在研究区块链技术。区块链技术具有不可篡改的特性,是比特币、以太坊和其他加密货币的基础。不过,这名人士拒绝透露具体细节。

    CloudBest
  • 区块链真能成供应链金融的百世良医?

    消费金融草长莺飞的时代结束,随着互联网企业下沉,供应链搭建需求上升,供应链金融的黄金时代正在到来。

    用户1310347
  • 区块链技术:无比锋利的互联网金融“手术刀”

    区块链技术无疑是当下中国市场最火爆的新技术,尽管它的母体——数字货币遭遇了政策层面的监管,但是有关区块链技术本身的优势让人们看到了它对于传统行业,特别是互联网行...

    用户1310347
  • solidity智能合约中tx.origin的正确使用场景

    tx.origin是Solidity的一个全局变量,它遍历整个调用栈并返回最初发送调用(或事务)的帐户的地址。在智能合约中使用此变量进行身份验证会使合约容易受到...

    用户1161110
  • 【Rust日报】 2019-07-30:CPP工程师的Rust迁移之路

    知乎网友@黄珏珅开设了本专栏,主要针对对 Rust 感兴趣的 C++ 工程师,介绍了完成相同任务 C++ 和 Rust 中的异同,感兴趣可以专注专栏,目前已经有...

    MikeLoveRust
  • Web3与智能合约交互实战

    在最初学习以太坊的时候,很多人都是自己创建以太坊节点后,使用geth与之交互。这种使用命令行交互的方法虽然让很多程序员感到兴奋(黑客帝国的既视感),但不可能指望...

    Tiny熊
  • solidity智能合约如何判断地址为0或空

    原文链接:https://www.choupangxia.com/2019/07/16/solidity智能合约如何判断地址为0或空/

    用户1161110
  • 认识区块链,认知区块链——热闹是它们的,我什么也没有

    (请不要将币混淆成区块链)相比去年的火热,今年确实冷清了不少,很多团队发展困难,甚至解散,区块链技术的应用依旧需要时间的催化。

    歪脖贰点零

扫码关注云+社区

领取腾讯云代金券