分布式数据库，无疑是近些年来数据库领域的重大技术进步。越来越多的用户考虑将传统集中式或单机数据库，迁移到分布式数据库。然而，正如同其他新技术一样，使用分布式数据库同样面临一定的使用门槛。如何平滑地迁移到这一新架构，享受新架构带来的优势的同时，还需规避潜在的劣势。尽管很多分布式数据库产品，正努力降低使用门槛，让用户近似传统数据库的体验去使用它，但这一过程仍面临诸多问题。此外，要想更好地使用分布式数据库，是需要其实现细节有着更多的了解。本文，尝试从研发角度谈谈，如何上手分布式数据库，针对常见的如何做表分片、如何选择分片键等问题加以描述。为了降低过程难度，结合之前在项目实施中的一点经验，自己也尝试编写工具来方便迁移分析。
分布式数据库，是近些年来非常颇受关注的领域。一方面随着数据规模不断增大，数据使用场景更为多样，对底层数据库的要求越来越高；另一方面对数据库的可用性、扩展能力等也都提出更高的要求。分布式数据库的出现，恰好满足了上述两方面的诉求。但当用户选择使用分布式的第一个问题，就是如何将之前基于单机或集中式数据库设计的数据结构迁移到分布式环境中，核心点就在于数据分片的设计。这其中的核心要点有两个：一是选择什么字段或字段组合作为分片键；二是使用什么分片算法来分片。本文尝试说明第一个问题。
墨墨导读：在集中式数据库系统不能完全符合实际需要的形势下，集中式DB的“集中计算”概念向“分布计算”概念发展。分布计算主要体现在客户机/服务器模式的分布式数据库体系结构两个方面。
作者 | 潘娟 伴随着互联网应用场景逐渐深入到生活的各个角落，为了确保前端用户的使用体验，对互联网产品的后端架构性能提出了更高的需求。如今，开发以及运维人员正在将工作重心和优化重点放在了后端基础设施的可用性、一致性、扩展性、弹性以及全面自动化管理等能够提升效率的技术能力层面。 1 背景：Kubernetes 环境中的微服务与数据库 应用部署的变化 一方面，在处处充斥着大数据以及高并发场景的今天，后台技术人员往往会花费更多精力在解决『大规模业务数据的存储与应用』等问题上，以确保数据库等基础设施能够
今天的话题有两层含义，第一层是说相对于我们所熟知的集中式数据库来说，分布式数据库是与之不同的。在做数据库选型的时候，我们要充分的了解其间的不同，才能做出较为科学的决策。我想很多数据库从业人员都了解其中的不同，不幸的是，他们不是数据库选型的决策者，大多数决策者并不了解这一点。
分布式数据库架构下，索引的设计也需要做调整，否则无法充分发挥分布式架构线性可扩展的优势。今天我们就来聊聊 “在分布式数据库架构下，如何正确的设计索引？”
随着手机和互联网成为人们眼中的日常必需品，网站和商业服务每周接收数十亿次访问的情况已经司空见惯——这还只是一个侧面。
随着数据存储需求的不断增加，分布式数据库成为了处理大规模数据的一种重要方式。分布式数据库可以将数据分散到多个计算节点上，并利用分布式计算的能力来提高数据处理的效率和可用性。然而，在使用分布式数据库的过程中，是否需要进行分库分表呢？
曾就职于京东科技，负责数据库产品研发，热爱开源，关注数据库生态，目前专注于 ShardingSphere 数据库中间件开发以及开源社区建设。
大约10年前，我加入了Amazon Web Services，在那里我第一次看到了在分布式系统中进行权衡的重要性。在大学里，我已经了解了一致性和可用性之间的权衡（CAP定理），但实际上，频谱要比这深得多。任何设计决策都可能涉及延迟，并发性，可伸缩性，耐用性，可维护性，功能性，操作简便性以及系统其他方面之间的权衡，而这些权衡会对应用程序的功能和用户体验产生有意义的影响，并且即使是业务本身的有效性。
蚂蚁集团自研数据库OceanBase已经开源，这对国产分布式数据库来说，是一个重磅消息。一直以来OceanBase作为商业数据库，披露的技术细节并不多,以后又多了一个可以拿来研究的优秀分布式数据库。参考1[1]
光大银行也是很有魄力的，拿出了一个重要的业务系统进行一次试点，做了一次这种分布式架构转型的项目。我有过十余年DBA相关的经验，不过之前接触比较多的主要还是传统的商用型数据库，所以能作为这次项目的推进人，也是我个人在这种新的架构下的一次学习的过程。
DBLE 项目测试负责人，主导分布式中间件的测试，在测试中不断发现产品和自身的 bug。迭代验证，乐在其中。
题目比较特殊，最近过完年工作量和问题爆发的方式增长，DBA的工作量增长只能说明如下的几个问题
关于数据分片的话题，近期非常火热。一方面是由于用户在海量数据、高并发访问的诉求日益增长；另一方面分布式数据库发展迅速、技术路线各异，难以选择。近期的一篇关于数据分片的文章吸引到我，文中对数据分片从技术角度做了分析归类，提出一种很好的归纳方法。本文尝试延展这一观点，对数据分片进行归类阐述。
水平拆分的概念随着分布式数据库的推广已为大部分人熟知，分库分表、异构索引、小表广播、这些功能几乎是产品功能需求标配。然而有些客户使用分布式数据库后的体验不尽如意。本文尝试从数据的角度总结分布式数据的复制（replication）和分区（partition）技术原理和方案，其中分区也有称为分片（sharding），希望能引起读者一些思考，在分布式数据库选型中能注意这些细节的区别，选择适合业务的数据水平拆分方案。
单体数据库时代，随着系统交易量的不断上升，数据库读写性能出现了严重下降。我们可以借助分库分表中间件，比如mycat、shardingjdbc来实现分库分表，缓解单库的读写性能。但是分库分表中间件并不支持事务，如果要保证数据一致性，就需要借助于分布式事务中间件，比如阿里巴巴的seata。后来分布式数据库逐渐成为解决数据一致性的选择，目前分布式数据库产品已经比较成熟，支持ACID事务，本文就来聊一聊分布式数据库。
分布数据库定义：分布数据库是由一组数据组成的，这组数据分布在计算机网络的不同计算机上，网络中的每个节点具有独立处理的能力（称为场地自洽），可以执行局部应用。同时每个结点也能通过网络通信子系统执行全局应用。
复制（replication）: 系统维护这个关系的几个相同的副本（拷贝），并把每个副本存储在不同的站点上。复制的替代方式是只存储关系的一份拷贝。
SphereEx co-founder, Apache member, Apache ShardingSphere PMC, Apache brpc(Incubating) mentor, 本次 Release manager。
编者: 本文中报告,关注 “数据和云” 回复：下载。可以找到下载链接。 2021年12月，墨天轮社区发布了由CCF数据库专委会、清华大学和墨天轮社区共同撰写的《数据库系统的分类和评测研究》，这个报告的初衷是希望通过对数据库产品的分类、评测、发展等方向的研究，为行业提供参考和促进。 感谢执笔人李国良，李战怀，彭智勇，盖国强，感谢清华大学、西北工业大学、武汉大学、云和恩墨、华为、阿里云、腾讯云、京东云、 虚谷伟业、PingCAP、巨杉、建设银行、民生银行、哈尔滨银行、浙江移动等企业和单位的专家的共同参与和支持。
分布式数据库是相对于集中式数据而言的，具备分布式数据管理能力的一种新型数据库软件产品。是面对高性能、大数据量业务系统，特别是无法进行大规模重构的业务系统，实现分布式能力引入的一种有效解决方案。分布式数据库具备数据分片管理、分布式事务、读写分离等关键分布式能力，能够为应用提供类似与集中数据库的使用方式，可以降低应用实施分布式改造的复杂度。近年来，各国产厂商都在积极推进分布式数据库产品的研发，技术已经逐步成熟，金融行业也已经有成功案例投入生产系统使用。本文尝试从多个角度，阐述金融行业分布式数据库转型所面临的问题及解决思考。
分布式数据库进入人们的视野已经很久了。相对于传统的集中式数据库，分布式数据库在高性能、高可用、平滑拓展、高可靠、低成本等许多方面具有优势。 但时至今日，关于分布式数据库，似乎一直缺少足够权威和客观的解读。 现在，国家白皮书来了！ 为了明确分布式数据库的概念，梳理分布式数据库的技术体系和应用现状，对未来的技术和应用趋势进行研判，中国软件评测中心牵头组织了腾讯云等厂商参与，调研了国内主要分布式数据库产品厂商，并对部分产品进行了测评，参考了国内外主要研究机构的学术成果，历时半年共同编制了《分布式数据库发展路径研
(1)第一代数据库系统是指层次模型数据库系统（基于树形结构）和网状模型数据库系统（基于有向图结构）
元数据，一般包括分片的数据范围、数据量、读写流量和分片副本处于哪些物理节点及副本状态等信息。
本系列为 CMU 15-445 Fall 2022 Database Systems 数据库系统 [卡内基梅隆] 课程重点知识点摘录。
“一个数据库包打天下的时代已经结束了”四川省农村信用社联合社信息科技中心高级工程师桂俊鸿在采访中表示。事务型、联机型、NoSQL、文档型、列式存储、时序数据库、图数据库……在近年来这些数据库热词背后，是数据库技术及产品在面向不同业务场景逐渐细化分类，发挥长处，最终助力企业实现数字化目标。由于传统数据库在扩展性、容量等方面不能满足日益增长的数字化需求，架构层面从集中式向分布式转型的分布式数据库及相关产品备受关注。
数据库拆分的方式有两种，前面文中已经聊过，即就是垂直拆分和水平拆分，分库分表是对数据库拆分的一种解决方案。根据分库分表方案中实施切片逻辑的层次不同，我们可以将数据库分库分表的实现方案分为三大类
分布式数据库，已经进入了全面快速发展阶段，这种发展，是与时俱进的，与人的需求是分不开的，因为现在信息时代的高速发展，导致数据量和交易量越来越大。这种现象首先导致的就是存储瓶颈，因为MySQL数据库，实质上，还是一个单机版本的数据库，而只要是单机，就必然会遇到的一个问题就是存储问题，因为存储是硬需求，而CPU和内存如果不够的话，只是性能不好，并不会直接否定方案或者架构。
文章介绍了分布式数据库在项目中的使用场景，以及基于腾讯云DCDB的具体实现方案，包括分表、分库、负载均衡、高可用等方面的内容。
最近TIDB 开放了相关的初级课程，目前最火热的分布式数据库，那是的深入一下，最近一段时间都会围绕TIDB 的课程学习来写一写相关的总结和体会。
于是，我将 Apache ShardingSphere 产品介绍与开发入门通篇阅读了一遍。
最近与同行科技交流，经常被问到分库分表与分布式数据库如何选择，网上也有很多关于中间件+传统关系数据库（分库分表）与NewSQL分布式数据库的文章，但有些观点与判断是我觉得是偏激的，脱离环境去评价方案好坏其实有失公允。
互联网高速发展带来海量的信息化数据，也带来更多的技术挑战。各种智能终端设备（比如摄像头或车载设备等）以每天千万级的数据量上报业务数据，电商、社交等互联网行业更不必说。这样量级的数据处理，已经远不是传统关系型数据库的单库单表架构所能支撑的，如何高效存储和访问这些数据，成为一个非常现实且亟待解决的问题。
近期，由国家工业信息安全发展研究中心发布了2022年《分布式数据库发展趋势研究报告》。报告从数据库产业发展、分布式数据库产品价值、面临调整、技术路线、发展趋势、发展方向等多角度阐述了分布式数据库的诸多问题。本文，从个人角度谈谈对上述研究报告的解读。
最近，微软详细介绍了分布式 PostgreSQL 基准测试的结果，比较了 Azure Cosmos DB for PostgreSQL、CockroachDB 与 Yugabyte 的事务处理性能和价格。这几种数据库在实现时做了不同的权衡，测试结果显示，Azure Cosmos DB 的吞吐量更高。同时，他还着重指出了针对分布式数据库进行基准测试所面临的挑战。
关系型数据库指的是使用关系模型（二维表格模型）来组织数据的数据库，由二维表及其之间的联系所组成的一个数据组织。
随着计算机和信息技术的迅猛发展，行业应用系统的规模迅速扩大，行业应用所产生的数据量呈爆炸式增长，动辄达到数百TB甚至数百PB的规模，已远远超出传统计算技术和信息系统的处理能力，集中式数据库面对大规模数据处理逐渐表现出其局限性。因此，人们希望寻找一种能快速处理数据和及时响应用户访问的方法，也希望对数据进行集中分析、管理和维护。这已经成为迫切需求。
文章主要介绍了腾讯云分布式数据库DCDB的一些特性、架构、以及业务价值。DCDB可支持大容量、高并发的业务需求，同时具备高可用性、高性能、以及更优的TCO。在架构上，DCDB采用了全冗余、全解耦的设计，保证了高可用性。此外，DCDB还具备弹性扩展的能力，能够根据业务的需求自动调整计算资源。通过这些特性，DCDB能够满足金融行业对数据库的各种需求，包括高并发、高可用、高稳定性、以及低成本。
2019 年 9 月 12 日，腾讯云官方公布了国产分布式数据库 TDSQL 的一个新案例——张家港农商行。据了解，张家港行新一代核心系统采用了腾讯云 TDSQL 来承载核心业务数据，这是银行传统核心数据库首次实现国产化。
当前分布式数据库架构有不少，但是总体架构相差不大，主要组件都包含协调节点、数据分片、元数据节点、全局时钟。一种常见的分布式架构如下图：
最近席卷全网的神剧《庆余年》，听说一开始不屑一顾的人，看了之后都会说“真香”。 数据君1.5倍速补课之后，秒被爱财怕老婆又善吹彩虹屁的老王圈粉。 众所周知，“宝藏男孩”王启年贪财和怕老婆两个特性不分先后，赚钱藏钱一把好手。 要薪资的时候，他这样说： 为什么要藏呢？他的钱全部上交给了老婆，享受“体贴入微”的搜身，平日里也只能想尽办法藏点钱充到小金库。 办公室文件里有银票： 脚趾缝里有铜板： 请范闲吃饭，从鞋袜中掏出两枚铜钱，豪气的说：“我请你吃饭！”这对他来说，简直是最破费的一次了。 但
近些年来，数据库产业发展迅猛，各种数据库产品层出不穷。那么如何选择一款数据库产品成为很多企业面临的问题？特别是随着数据规模、计算能力等需求，分布式数据库产品成为很多企业的新宠。那么这类数据库较传统数据库又有何差异？在数据库选型中，需要注意哪些方面？本文尝试描述数据库（特别是分布式数据库）选型需考虑维度，希望帮助企业可以做出最适合的选择。
TDSQL分布式实例通过Proxy接口提供和mysql兼容的连接方式，用户通过IP地址、端口号以及用户名、密码进行连接：
随着我们的系统运行，存储在关系型数据库的数据量会越来越大，系统的访问的压力也会随之增大，如果一个库中的表数据超过了一定的数量，比如说mysql中的表数据达到千万级别，就需要考虑进行分库分表；
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
