TXSQL Internals @2018

腾讯云资深架构师王少华日前在 2018 开源数据库论坛（ODF）暨首届MariaDB中国用户者 大会上做了主题为“TXSQL Internals @2018”的主题演讲，本次分享从五个方面介绍TXSQL。

第一部分 腾讯云和TXSQL的概念

腾讯云作为国内云计算领先公司，全球建立500多个数据中心，超过百万数量的开发者在使用腾讯云。

腾讯云数据库TencentDB（曾用名：CDB）是腾讯云提供数据库产品和服务的总称，提供一整套的解决方案，包括用户上云，数据迁移、备份、恢复、升级等操作，相比于传统用户来构建数据库服务，减少了投入的同时也方便使用。TXSQL 是 Tencent MySQL 的简称，是 腾讯TEG 基础架构部 团队在近十年发展过程中衍生出来的一个对 MySQL 内核源码深度定制、对官方 MySQL 版本进行二次开发的项目。TXSQL内核版本拥有更高的性能、更强的稳定性，同时提供 Oracle MySQL 企业级版本才拥有的特性，对内支持集团内部业务的发展；对外通过TencentDB for MySQL提供服务，提供强有力的竟争力，助力腾讯云的快速奔跑。在腾讯云的发展过程中，为其保驾护航，积极的推动了腾讯云的快速发展。

腾讯云数据库TencentDB for MySQL服务于各行各业，包括游戏、电商、银行、证券、物流、政府、零售、工业、还有传统企业等。

TXSQL是数据库内核团队独立维护的MySQL 分支，对外通过TencentDB for MySQL服务提供给客户。可以看到TXSQL是内核，也是底层提供数据服务的位置。

第二部分 TXSQL可用性改造

MySQL 作为最受欢迎的开源数据库，也是云上使用最多的数据库，不同的业务场景对数据库有不同的功能需求与性能需求，这样就决定了数据库本身的多样化需求，同时 MySQL 在不同使用场景下所衍生出来的各种问题，也影响着线上的稳定性，TXSQL在可用性上做了以下改造：

1. Aysnc Drop Table

删除文件较大的表时，IO资源会被较长时间占用，出现峰值。为了避免这种情况，我们做了以下优化，避免IO峰值。

1） 将ibd文件重命名为临时文件;

2）每次在后台按固定大小（例如128M）截断;

3）最后删除它。

2. ALTER TABLE NO_WAIT | TIMEOUT

DDL 在执行过程中需要获取对应的表锁，然后进行操作，如果此时有事务获取表锁，则会造成此语句的阻塞，而后绪操作此表的请求也会被此 DDL 阻塞，因此我们引入了 Oracle 中的 alter table 超时失败的功能，即 alter table …. [nowait | wait for n] 的功能以降低 DDL 对线上的影响，oracle 中 select for update [nowait|wait for n] 则可以通过设置参数 innodb_lock_wait_timeout 来实现。因篇幅有限，此处仅列出一部分优化。

3. INFORMATION SCHEMA : METADATA LOCKS

此优化大大提高DBA在数据库的诊断效率。

第三部分 性能优化

除了可用性以外，TXSQL还在性能方便做了大量优化。

1. Replicaiton优化

1）Slave Lock Split

2）Slave IO Optimization

3）Parallel Replication

2）Query Optimizations

3）InnoDBRead View Optimization

第四部分 企业级特性

而在功能方面，我们实现官方版本所没有的功能，满足各行各业企业的要求，比如加密、审计、线程池，并行复制。首先是审计功能，官方的版本是没有审计这个功能的，只有企业版才有，我们结合自己的实际情况，为了保证用户的性能，我们做了一个audit的插件，从而保证性能的同时实现了用户所需要的功能。加入审计后，性能损耗低于5%。

金融行业对合规要求较高，加密是必备功能。TXSQL结合腾讯云的KMS和CAM，提供一整套数据库加密解决方案。其中腾讯云提供的KMS（Key Management System）管理和存放密钥，CAM（Cloud Access Management services）做用户权限控制，TXSQL提供lKerying Plugins和lKeyring_kms 两个插件。目前此解决方案已为大量企业所采用。

我们第三个是thread handling，我们在测试压力测试的时候，随着并发的加大，性能会首先提升，然后下降，原因则是系统内部各种资源的竟争比较严重，TXSQL 通过把 Thread Pool 引入来解决这个问题，并且解决了以下几个问题：

解决了Threadpool 情况下全局读锁所造成的死锁问题

解决了 Dump 线程对于Thread Pool 的影响

添加新的 Information Schema 表来观察ThreadPool内部的运行情况

第五部分 TXSQL未来的发展方向

在未来的发展过程中 TXSQL 仍然会以用户为导向，保持稳定性，性能调优和功能实现的基础上，从以下方面不断的进行改进：

• 智能化
• 分布式
• 新硬件
• 存储和计算分离

更多前沿数据库技术和案例分享，请关注我们的微信号：腾讯云数据库CDB