腾讯研发专家:TXSQL如何成为云计算时代数据库核弹头?

背景:5月23-24日,以“焕启”为主题的腾讯“云+未来”峰会在广州召开,广东省各级政府机构领导、海内外业内学术专家、行业大咖及技术大牛等在现场共议云计算与数字化产业创新发展。

腾讯MySQL内核研发专家张青林在腾讯“云+未来”峰会的「开发者专场」做了主题为“TXSQL:云计算时代数据库核弹头”的技术内容分享,本次分享从五个方介绍TXSQL:

第一部分:MySQL和TXSQL的概念

腾讯云作为国内云计算领先公司,在全球建立了500多个数据中心,供数以万计的开发者使用。

TXSQL是CDB的内核,而CDB则是腾讯云对外提供的产品,提供数据库相关服务,CDB产品提供了一整套的解决方案,包括用户上云,数据迁移、备份、恢复、升级等操作,相比于传统用户来构建MySQL服务,减少了投入的时间同时也更方便使用。

腾讯云的CDB服务渗透到了各行各业,包括银行、证券、物流,还有传统企业等都是腾讯云的客户,用户购买 CDB 后,会分配相应的主机、端口、用户名、密码等信息,用户通过这些信息可以直接联接到后台的数据库。

CDB服务目前分为本地盘和网盘,TXSQL是基础架构部数据库内核团队独立维护的MySQL分支,对外通过CDB服务提供给客户。

可以看到TXSQL是内核,也是底层提供数据服务的核心。

第二部分:我们为何会创造 TXSQL

我们来详细看看构建TXSQL的必要性:

从2016到2017年,存储规模达到了4倍以上,并且随着云计算市场的不断成熟,行业覆盖率也得到了前所未有的发展,整个规模已经达到了10万+级别。

当用户自己构建数据库服务的时候,运行在自己的服务器上,一年可能只会遇到一两个问题,但是如果有数十万个服务器在同时运行,那么每天遇到问题的概率是很大的,所以我们遇到了三大挑战:

第一,客户使用了CDB产品,他会把数据库的请求返回交给上层应用,如果数据库出现问题,可用性基本上得不到保障,所以随着规模的不断增长,我们必须能够快速定位和解决客户问题。

第二,来自业务的需求,随着行业覆盖率的不断扩展,比如金融或者对数据要求比较高的行业,他们就会对数据安全等功能有多元化的需求,所以需要具备满足客户需求的开发能力。

第三,关于性能,我们知道在电商大促或者游戏有活动的时候,数据库所受到的压力很大,为了提升单机的性能,让用户花最少的钱买最好的服务。

综上所述,面临着三大挑战,一个是稳定性,一个是新的业务需求,还有一个是性能的提升。

基于此,腾讯云需要有一个自己的内核团队来快速定位客户问题,来帮助客户解决问题,并且最大速度的提升单机性能。

第三部分:我们如何设计 TXSQL

B3M是我们的代码设计模型,可以让客户操作的时候更方便,更好的解决问题,也可以帮助客户实现一些新的需求。

用户可能会问,MySQL作为一个基础软件,有几百万代码,门槛比较高,怎么保持修改后MySQL版本的稳定性呢?

我们不是随意改MySQL,我们改的每一处地方都要经过严格的测试。

首先,我们会进行需求分析,需求分析主要来源于几个方面,一个是数据库在运行过程中出现的问题,比如官方的BUG,另外是用户需求相关的东西,帮助他们更好的使用数据库,再就是做性能调优,用户在使用MySQL过程中,我们也逐渐提升性能和竞争力。

经过需求分析之后会做设计,然后再进行代码编写的工作,编写之后我们会严格把控代码质量,每一个步骤都会经过严格测试,比如代码覆盖率测试和单元测试,我们基本每两到三个月会发布一个数据库内核版本,每一个版本都要通过稳定测试和性能测试,以及崩溃恢复测试,从而保证我们的代码不会引入新的BUG。

在版本发布的时候,首先进行个别实例的发布,然后对新的TXSQL版本的实例进行秒级监控,没有问题再进行小集群的发布,最后再进行全网发布,通过这种方式我们保证了MySQL版本的稳定性以及可靠性。

第四部分:用户在使用 TXSQL 内核版本的时候需要注意哪些问题

对于用户来说,所使用CDB内核提供了哪些服务?

因为我们对MySQL的改动,是在MySQL的基础上进行二次开发的,一种是性能调优,一种是线上问题的解决,还有功能开发,针对于新的业务需求来实现。

我们会通过在压测过程中比较他们资源竞争的情况,比如说内存资源或锁资源,下图中的前三个是我们对redo logo所做的性能调优,第一个是redo log,通过减少Sync盘的次数来提升性能,第二部分是通过多缓冲buffer,即Redo Log在Sync的同时不影响其他事务日志的写入,第三个则可以保证事务在向系统缓冲区写Redo日志时互不影响,提升并发性。Select offset limit 操作则是将计算下推到引擎层,降低 CPU资源消耗的同时,提升性能。

而在功能方面,我们实现了官方版本所没有的功能,比如加密、审计、线程池、并行复制。首先是审计功能,官方的版本是没有审计这个功能的,只有企业版才有,我们结合自己的实际情况,为了保证用户的性能,我们做了一个audit的插件,从而保证性能的同时实现了用户所需要的功能。

第三个是thread handling,我们在测试压力测试的时候,随着并发的加大,性能会首先提升,然后下降,原因则是系统内部各种资源的竞争比较严重,TXSQL 通过把Thread Pool 引入来解决这个问题,并且解决了以下几个问题:

1. 解决了 Threadpool 情况下全局读锁所造成的死锁问题

2. 解决了 Dump 线程对于Thread Pool 的影响

3. 添加新的Information Schema 表来观察ThreadPool内部的运行情况

当主库压力不断变大的时候,我们备库的消耗数赶不上主库生产的时候,从5.1,5.5, 5.6,5.7,这个问题始终没有得到很好的解决,5.6的时候虽然有一个并行算法,但是并不能完全解决延迟问题,我们引入了自己的并行,从而很好解决了这个问题。

当你主库延迟的时候,主库挂了,备库没有消费完累积的RelayLog之前,服务器是不能够提供服务的,如果接受服务的话会有双写的问题。

无论是我们在上云过程中还是服务用户过程中,都遇到了各种各样的困难。

比如我们在帮一个游戏公司上云过程中发现了他们的性能问题,我们对系统进行分析的时候我们对它进行优化,调优了各种参数并升级内核,最终使用户的性能从7万上升到17万。

占用内存不断上升,造成了机器的OOM,这个问题我们花了将近一周的时间找到问题RootCause,然后用一周的时间进行灰度发布和测试,我们Fix Bug的速度一般是两周,而官方受限于版本发布,一般都需要两到三个月才能解决。

TXSQL只是作为内核版本来帮助用户进行计算。我们的稳定性有如下能力来保证,一个是全链路监控,一个是机器层面操作系统方面的监控,还有MySQL的秒级监控,以及人工的在线帮助。

第五部分:TXSQL未来的发展方向

在保持稳定性,性能调优和功能实现的基础上,未来我们会以这几个方向。

批量计算:对于可以让 Engine做的事情,我们可以将计算下推到Engine层来做,减少消耗。

执行计划缓存也是我们在不久将来要做的事情,之前做过一个测试,最简单的基于主键的查询就会有10%的性能提升。

为了解决存储的问题,我们将RocksDB 引入到了TXSQL中,即 TXRocks,也会在近期推出这个产品,在支持事务操作的同时,可以极大的降低用户成本。

腾讯数据库技术团队维护MySQL内核分支TXSQL,100%兼容原生MySQL版本,对内支持微信红包,彩票等集团内部业务,对外为腾讯云CDB for MySQL提供内核版本。

腾讯数据库技术团队专注于增强MySQL内核功能,提升数据库性能,保证系统稳定性并解决用户在生产过程中遇到的问题。

原文发布于微信公众号 - 腾讯技术工程(Tencent_TEG)

原文发表时间:2018-05-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯数据库技术

腾讯新一代企业级云数据库CynosDB(NewCDB)

NewCDB是在CDB十年技术和产品沉淀的基础上诞生的,腾讯云数据库产品在继承中不断完成突破。

7.6K6
来自专栏SDNLAB

SDN实战团分享(三十二):ZStack架构及其网络功能简介

先说些题外话 SDN 群里大牛很多,从平时讨论中学习到不少,我的背景相对更偏云计算一些,我对 SDN 的角度可能也与大家有一些不同。 举例来说,前段时间发生了...

5495
来自专栏跨界架构师

分布式系统关注点——初识「高可用」

        咳咳,从这篇开始,正式拉开分布式系统关注点中,我认为第二重要的内容 —— 「高可用」。

1053

云监控与服务器监控不同的6个原因

传统的IT监控,一直是针对以服务器为主的基础设施来进行的。然而如果是将应用部署在云端,那么监控会变得很不一样,因为别说监控,我们很有可能都接触不到服务器。对于应...

2477
来自专栏云加头条

张青林:TXSQL是什么?云计算时代数据库核弹头

腾讯MySQL内核研发专家张青林在腾讯“云+未来”峰会的「开发者专场」做了主题为“TXSQL:云计算时代数据库核弹头”的技术内容分享,本次分享从五个方面介绍TX...

7092
来自专栏Java架构

Java分布式架构的演进过程

1946年,世界上第一台电子计算机在美国的宾夕法尼亚大学诞生,它的名字是:ENICAC ,这台计算机的体重比较大,计算速度也不快,但是而代表了计算机时代的到来,...

1996
来自专栏架构师小秘圈

垂直电商架构进化之路

作者:张增、邓良驹,分别为乐视云计算电商云团队负责人,乐视云计算高级开发工程师 来自:高效运维 1. 电商系统发展过程 电商网站在不同时期的架构复杂度有所不同:...

5039
来自专栏跨界架构师

分布式系统关注点——初识「高可用」

        咳咳,从这篇开始,正式拉开分布式系统关注点中,我认为第二重要的内容 —— 「高可用」。

912
来自专栏互联网数据官iCDO

如何理解谷歌眼中的低质量页面?

译者:Nic 审校:朱玉雪 本文长度为3529字,预估阅读时间6分钟。 我们今天要向大家介绍的是谷歌是通过哪些因素来判定登录页面质量的高低 衡量页面质量的高...

2486
来自专栏知晓程序

深度解读!小程序新增能力意味着什么?

1543

扫码关注云+社区

领取腾讯云代金券