腾讯云数据库两项内核技术入选国际顶会SIGMOD和ICDE

今天，腾讯云两项数据库内核技术最新研究成果同时入选SIGMOD和ICDE的收录论文。

其中，SIGMOD、ICED、VLDB并称为国际数据库三大顶级会议。

先上干货：

成功入选2021年SIGMOD 研究类长文的论文主题为“Spitfire:A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory”。

在这篇论文中，腾讯云原生数据库内核团队首次提出了多级缓冲管理器Spitfire的概念，通过一种新颖、低代价且有效的热数据识别方法，将热数据页面保持在DRAM缓存中，同时将暖数据保存在非易失存储NVM中，有效提升了系统整体性能与性价比。

Spitfire重点研究了页面迁移策略，这些策略决定了一个数据页面应该被放置在哪一层，比如，一个页面应该从SSD载入NVM还是DRAM，一个DRAM层页面被驱逐出去后，应该写入NVM还是写入SSD。Spitfire引入了基于概率的页面迁移策略框架，并囊括了所有三级缓存架构的页面迁移策略。

论文指出，对于不同的存储硬件和工作负载，最优策略可能不一样。鉴于此，鹅厂小伙伴们提出了一种基于模拟退火的机器学习技术，用于针对任意工作负载和存储层次结构自动调整页面迁移策略。

不仅如此, Spitfire利用了NVM按字节寻址和持久性特性，能够直接读写NVM页面数据或者容纳来自DRAM层的脏页，而不需要将它们刷入SSD，能够有效降低页面刷脏的数据库恢复协议代价，特别适合写频繁的工作负载。

这项成果目前在TDSQL-C(原CynosDB)得到了验证与实现。TDSQL-C(原CynosDB)是腾讯自研云原生关系型数据库，100%兼容MySQL和PostgreSQL，极致计算能力突破千核，存储容量达PB级别。

SIGMOD评审委员会评价称：随着商用非易失存储NVM硬件的出现，数据库如何管理包含NVM的多层级内存缓冲区成为了重要的研究课题。文中阐述的Spitfire是一种在包含DRAM和NVM的数据库系统中管理缓冲区的创新方法。此外，文章还进行了包含NVM硬件的数据库系统架构性价比方面的研究和建议，这些均是此前的研究工作尚未充分涉及到的。

该项研究成果与佐治亚理工学院Joy Arulraj教授等作者共同完成，其中Joy Arulraj教授是NVM数据库研究领域的知名学者。

这已经不是鹅厂第一次登上SIGMOD会议。

此前腾讯云原生数据库团队就曾与华中科技大学合作，在SIGMOD19上发布论文 《An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning》，实现了基于AI技术的数据库性能调优结果首次全面超越数据库专家。

SIGMOD目前是数据库领域具有最高学术地位的国际性学术会议，位列数据库方向顶级会议之首。

说完SIGMOD，再来说ICED。

这次，腾讯云原生数据库团队与中国科学技术大学合作的最新研究成果也入选了数据库顶级会议ICDE2021。

入选论文题目为“TLBtree：A Read/Write-Optimized Tree Index for Non-Volatile Memory”。

此项研究在非易失内存上创新提出了一种读写兼优的数据结构，作为数据库内核存储引擎中的索引结构，其读写性能大幅超越前沿的同等索引结构。

目前，在NVM上使用最频繁索引结构是基于B+树的，而已有的NVM B+树索引技术都存在一个读写权衡的问题，要么是专门优化读性能，要么优化写性能，同一种技术往往无法做到兼顾读写性能。而且由于目前NVM的硬件写带宽较低，NVM数据持久化代价较高，这种读写权衡就会越发明显。因此，设计一种在NVM上读写兼优的NVM索引结构成为重要的研究目标。

根据树型索引的读写访问模式以及真实NVM设备特性，本文提出了两层持久性B+树架构。如上图所示，它将索引分为上下两层（读优化的上层和NVM写优化的下层），从而解耦了读写优化技术，让完全不同的优化技术可以共存在同一个索引结构中，达到多维度优化要求。

基于此架构下，本文设计了TLBtree，一种读写优化的两层索引，并给出了其并发版本。

TLBtree的上层是一个读优化的多叉完全树，采用无指针结构，所有结点存储在连续数组空间中。TLBtree的下层是针对NVM设计的写优化树型结构，它能够有效地减少对NVM的写代价，而且无需WAL即能保证持久性和崩溃一致性。TLBtree的并发版本采用无阻塞读的并发机制，能够有效的减少多进程情况下的读写冲突。

ICDE评审委员会认为，该论文关于组合多种数据结构实现读写兼优NVM索引结构设计思路非常新颖，这一概念具有广阔的前景。同时，文章对该设计进行了清晰而明确的表述，相应的实验结果也得到了充分的验证，读者可以从文中获取到许多有价值的信息。

数据库作为和操作系统并列的三大基础软件，重要性不言而喻。

腾讯云近年来加大了基础架构领域的前沿技术研究，通过与顶级高校和研究机构“产学研”一体的合作方式，将技术研究成果转换为应用落地，持续输出产品和业务场景。

华中科技大学-腾讯公司智能云存储技术联合研究中心是代表之一。该联合研究中心于2018年成立，在数据库自治理、分布式存储技术、高性能存储引擎、业务负载预测等方面开展技术的联合攻关，突破超大规模IaaS服务的诸多技术难题，推动智能数据库和存储技术的科技创新及技术应用落地。

截至目前，基于联合实验室平台，双方已经在SIGMOD、DAC、USENIX AIC等国际顶会联合发表21篇高质量论文，联合输出创新技术专利14余项。

不久前，腾讯云将原有的CynosDB、TDSQL、TBase三大产品线统一升级为“腾讯云企业级分布式数据库TDSQL”，涵盖云原生、分布式、分析型等多引擎融合的完整数据库产品体系。在全新数据库品牌体系下，腾讯云数据库将进一步深度融合数据库技术和云计算技术，充分释放领先技术的红利，助力客户业务发展。

腾讯数据库技术团队对内支持QQ空间、微信红包、腾讯广告、腾讯音乐、腾讯新闻等公司自研业务，对外在腾讯云上依托于CBS+CFS的底座，支持TencentDB相关产品，如CynosDB、CDB、CTSDB、MongoDB、CES等。腾讯数据库技术团队专注于持续优化数据库内核和架构能力，提升数据库性能和稳定性，为腾讯自研业务和腾讯云客户提供“省心、放心”的数据库服务。此公众号旨在和广大数据库技术爱好者一起推广和分享数据库领域专业知识，希望对大家有所帮助。