一文解读沙利文2021年中国分布式数据库市场报告

腾讯云数据库 TencentDB

发布于 2022-06-01 14:11:11

1.2K0

发布于 2022-06-01 14:11:11

国际知名调研机构沙利文联合头豹研究院发布了《2021年中国分布式数据库市场报告》，报告显示：腾讯云数据库入选Frost Radar （弗若斯特雷达）领导者象限，增长指数排名第一。为帮助广大数据库爱好者进一步了解报告内容，洞察数据库发展趋势，腾讯云数据库邀请沙利文中国高级分析师胡竣杰解读最新报告。以下为解读视频及文字实录：

大家好，我是沙利文高级分析师胡竣杰，我将从四个方面的内容解读沙利文最新发布的2021年中国分布式数据库市场报告，分别为：中国分布式数据库的行业综述、分布式数据库技术发展概览、分布式数据库市场分析、中国分布式数据库市场竞争态势。

中国分布式数据库

行业综述

首先是中国分布式数据库的行业综述。数据库作为大多数信息系统的基础设施，向下发挥硬件算力，向上支持上层应用，本质上是IT行业大厦的地基，也可以说是引擎，更是开发者的必备武器。而数据库的速度、易用性、稳定性、扩展性、成本等对企业的基础业务以及增长弹性至关重要。就在数据库诞生之后，整个应用程序快速爆发，成为了计算机发展史上的革命。

数据库系统的定义：按照特定的数据结构组织来存储和管理数据的基础软件。

我们这次报告的主题分布式数据库，定义是如何用计算机网络将物理上分散的多个数据库单元连接起来，并组成一个逻辑上统一的数据库。

当前整个数据库行业中有非常多样的数据库分类，本篇报告是从分布式架构的视角出发，多方位关注数据库行业的前沿动向，除了架构模型，报告还会关注到部署模型（比如云部署）、业务负载（比如HTAP）等方面的发展。

数据库已经经历了半个多世纪的发展，实现了学术界驱动、商业化落地、论文工业实现和企业应用需求驱动等。在技术发展的阶段，从一开始层面模型，网状模型，关系模型到对象模型，甚至还有半结构化等，数据模型一直都是数据库的核心和理论基础，而扎实的理论支撑和逻辑独立性，未来仍然将会是数据库的根本。当前云+分布式已经成为了企业极限需求的唯一解决方案，并造就了当前数据库行业的爆发期。其实在整个行业周期中，围绕市场的先进产品与技术才具备核心竞争优势。

当前中国数据库的发展其实受益于人口红利，产学研的首要是技术创新，需要一个先进的学术研究体系进行产研结合，也需要紧密的产业交流和行业渗透，更需要紧跟时代需求的人才培训体系。

从学研申请论文的数量角度来看，中国分布式数据库领域的论文申请量已经超越了美国，有顶级学术会议和高校企业构成的中国数据库学术支撑体系，将持续向整个数据库产业创新和人才培养输送活力。

从专利申请数量角度来看，中国分布式数据库相关的专利申请量，从2012年的全球占比22%，到2021年已经爬升到76%。中国已经成为了全球分布式数据库的技术创新中心，而北京和广东两地聚集较多的分布式数据库的先进厂商，累计的分布式数据库专利申请量在全国领先。分布式数据库的创新建立在对数据库技术的研究和应用积累，针对分布式数据库的关键板块包括了分布式计算、负载均衡控制系统、分布式存储等这些副主题，它们的热度已经凸显。

分布式数据库技术

发展概览

目前分布式数据库的技术路线选择都是以解决数据容量扩展问题为首要目标，主要方案又分为分库分表、中间件、原生分布式等，不同的技术路线及产品各有优劣。

先来看分库分表加中间件，方案其实是由下层的单机数据库提供存储和执行能力，在多个单机数据库上封装了一层中间层来补充分布式能力，统一数据分片规则，管理分布在不同数据库节点的数据，并提供SQL解析来请求转发和结果合并。该方案的优势在于可以利用现有的成熟稳定的开源数据库实现高性能、低成本和稳定性，用户门槛也低。同时劣势也很明显，能力上限比较低，但是架构下限比较高，导致sharding的拆分成本较高，底层架构又不具备分布式能力，中间件通讯以及单体数据库功能受限，存在明显的扩展性瓶颈。TDSQL MySQL版就是基于这样的分布式数据库架构实现的。

第二种是共享存储的分布式数据库，方案是计算节点独立并且共享一个不带计算功能的存储集群，也叫shared-storage。数据存储的底层是可动态扩展的分布式高性能存储，存算分离架构，计算层和存储层都可以实现动态扩缩容。并且这些分布式数据库都会通过网络和存储层的优化来保证高可用和高性能，优势在于事务性能优、读写性能最快，最大程度提升了写入容量的限制，劣势在于架构可改造性低，依赖共享存储系统，但是一致性较低。TDSQL-C就是基于这个版本的。

最后一种是去中心化的分布式数据库，方案是每个节点都有独立的计算和存储功能，并且节点之间不共享数据。为了平滑的扩缩容采用了存算分离的架构，分布式集群的每个节点都是独立的节点，通过这个multi-paxos或者multi-raft等共识算法来保证多副本的可用性。优势在于架构解耦性、高兼容性、高可移植部署性、高一致性和高可用性，劣势在于它有较高的硬件要求，分布式事务锁等机制以至于多写性能低。

接着再看HTAP的特性。云时代是由云计算、雾计算、边缘计算来共同构成的基础设施，但是三者又不尽相同。云计算是集中式计算，雾计算具有层次性，边缘计算则是依赖于不构成网络的单独的节点。目前的云数据库都是以云计算为底，并且在持续发展中，而云计算、雾计算、边缘计算对数据库提出了数据存储管理、计算交换等方面的差异化需求，未来数据库的类型和形态也将不断的演进，以适配不同类型的应用。

数据库上云也呈现出了从云托管到云原生的发展趋势。起初数据库上云借助了基础设施即服务，直接将传统数据库托管在云上，在迁移上云的过程中需要对性能等做出妥协，存在资源利用率低，维护成本高而可用性低等问题。于是，相比于迁移数据库上云，在云上建设数据库服务，设计出以基础云先行，从应用、中间件、数据库服务全线适应云特点的云原生数据库尤为重要。

在云原生数据库的实践当中，动态资源池从虚拟机到容器技术都是在细化隔离进程资源，从而实现资源的有效利用，充分发挥云服务的弹性优势。云原生Cloud-native，其实是对服务本身的描述，比如数据库作为服务的扩展能力、容错能力、交付能力等。云原生数据库本质也就是利用现有的技术组合来实现云原生需求，这也是数据库实现Serverless的必经之路。

HTAP是混合事务和分析处理，是OLTP和OLAP之间的间隔，使分布数据库既可以应用于事务型数据库的场景，又可以应用于分析类的数据库场景，满足实时业务决策的需求。

HTAP能够让数据产生后马上进入分析场景，但它面临的最大问题是如何将TP和AP这两类互斥的工作负载放在一个更高的系统上运行，并且实现资源干扰小数据可见度高而且延时短。目前HTAP又分为两种方案，分离架构和统一架构，分离架构是目前主流方案，趋势中云原生架构环境和HTAP系统的融合，将衍生新的HTAP产品方案和技术特征。

分布式数据库市场分析

分布式数据库技术的发展需要满足时代和市场的需求，回归数据库用户的刚性需求。数据库用户的刚性需求集中在这七点：

第一点是可控的数据安全。在报告中，数据库安全与加密能力的这一篇章中有提到如何确保链路安全和数据库存储安全。目前的技术有多种，有表加密，传输加密、透明加密，还有全密态技术，全密态又分为纯软和纯硬两个思路，现在提供全密态数据处理有包括腾讯云在内的很多厂商。

第二点是应用透明的极致高可用。其实这个需求贯穿了整个数据库的发展史，高可用的实现方式已经非常多样，其实就是云部署的方向和分布式架构的发展，过去是从单点架构到集中式主备，现在已经实现了云原生化的多主多备的分布式架构，继续去中心化来实现极致的高可用。

第三点是灵活承载不同业务场景的动态扩展能力和自适应能力，这一点就是前面讲到的HTAP技术所解决的核心痛点。

第四点是性价比高的通用硬件和操作系统，这是刚需。其实分布式数据库就很好地满足了这个需求，通过便宜的X86集群来取代昂贵的大型机。

第五点是实现企业级的SLA保障，目前很多云数据库厂商已经能够做到高于99.99%的SLA达成率。

第六点是简单易用，目前上云的趋势以及数据库即服务DBaaS的产品服务都是为了让终端用户免除对数据库的基础设施和架构的烦恼，关注业务应用本身。

第七点是能够不断改造适应新的硬件结构，这里要提到新硬件的发展，放在当下就是数据库本身能否支持异构计算，比如ARM架构等等，能否将算力和存储的资源使用率提高，朝绿色计算发展。从这个需求要素可以看到，不同行业的数据库用户有不同核心数据业务的特点和需求，同时其所在行业有着各不相同的IT监管环境、数据业务复杂性、成本敏感性、IT能力存储情况等特点。尤其在传统行业，如交通、物流、政务等，过去都是以集中式架构为主，在数字化转型以及分布式架构迁移计划之上，目前分布式数据库需要在各个维度上达到集中式架构产品的水平才能在各个场景上发挥其性能还有成本优势。

下图为沙利文根据调研结果制作的应用落地场景的企业图谱，图中展示了来自互联网、电信、交通、物流、电子政务、医疗、制造、能源等行业领域的提供分布式数据库及衍生服务，并具备一定领先技术或服务优势的中国数据库代表厂商布局态势，从图上可看出中国数据库厂商呈现差异化布局。但是在未来的落地场景格局上，头部效应将愈加明显，领先的厂商会将覆盖大多数行业，并在不同深度的场景服务上全面布局其分布式数据库的迁移改造解决方案。

中国分布式数据库市场

竞争态势

中国分布式数据库的市场竞争态势是整篇报告的重点。沙利文对分布式数据库的创新指数评估体系，围绕了分布式架构能力、数据库管理创新能力和云能力三大一级指标，设立了14个二级指标和78个三级指标。分布式数据库的增长指数围绕了兼容性评估、可扩展性评估，开源、产业影响力和行业解决方案等七大一级指标来设立了12个二级指标，99个三级指标来得出的调研结果。

给大家解读一下Frost Radar，纵坐标代表了增长指数，它衡量的是竞争主体在数据库增长维度的竞争力。位置越靠上方，数据库的基础及性能水平、服务生态水平、行业解决方案等积累水平就越强。而横坐标代表的是创新能力，衡量的是竞争主体在数据库创新维度的竞争力。位置越靠右侧，数据库的分布式架构能力、数据库管理创新能力和云能力越强。腾讯云数据库在2021年的分布式数据库Frost Radar中，入围的是领导者象限，在2021年，腾讯云数据库的增长指数的排名第一，在创新指数上排名第三。

腾讯云自研企业级分布式数据库TDSQL从2007年就开始内部孵化，源于腾讯金融业务，对内服务了微信支付、腾讯会议等业务。腾讯2021年Q3财报上显示，TDSQL服务横跨金融、公共服务和电信等多个垂直领域，超过3000家客户。在产品架构上，TDSQL提供了事务型、云原生、分析型等多种产品架构，具备智能运维平台，Serverless版本等标准统一的产品服务方案，支持了第七次全国人口普查来实现全面电子化。基于沙利文的调研结果，腾讯云TDSQL是中国分布式数据库的领导者。