以支付宝用户为例，8亿；微信用户更是10亿。订单表更夸张，比如美团外卖，每天都是几千万的订单。淘宝的历史订单总量应该百亿，甚至千亿级别，这些海量数据远不是一张表能Hold住的。事实上MySQL单表可以存储10亿级数据，只是这时候性能比较差，业界公认MySQL单表容量在1KW以下是最佳状态，因为这时它的BTREE索引树高在3~5之间。
一、数据库瓶颈 1、IO瓶颈 2、CPU瓶颈 二、分库分表 1、水平分库 2、水平分表 3、垂直分库 4、垂直分表 三、分库分表工具 四、分库分表步骤 五、分库分表问题 1、非partition key的查询问题（水平分库分表，拆分策略为常用的hash法） 2、非partition key跨库跨表分页查询问题（水平分库分表，拆分策略为常用的hash法） 3、扩容问题（水平分库分表，拆分策略为常用的hash法） 六、分库分表总结 七、分库分表示例
不管是IO瓶颈，还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是，可用数据库连接少甚至无连接可用。接下来就可以想象了吧（并发量、吞吐量、崩溃）。
读写分离与分库分表，分布式事务 MySql存储引擎，建表规范，事务级别，sql优化，读写分离思想等。 了解过读写分离吗？ 你说读的时候读从库，现在假设有一张表User做了读写分离，然后有个线程在一个事务范围内对User表先做了写的处理，然后又做了读的处理，这时候数据还没同步到从库，怎么保证读的时候能读到最新的数据呢？ 你如何保证系统的稳定性？ 答：分布式的链路一般都很长，所以我们首先通过全链路压测，分析整个链路，到底是哪个节点出现瓶颈。如果是数据层出现瓶颈，那么可以考虑加缓存，读写分离等降低数据库压力，如
在很多小型应用中都没真正使用分库分表，但是说起来并不陌生，因为我们在面试中经常会被问到，今天我们从从以下几个方面来聊聊分库分表：「是什么？解决什么？怎么做？为什么要这么做？即：」
1、非partition key的查询问题（水平分库分表，拆分策略为常用的hash法）
根据容量（当前容量和增长量）评估分库或分表个数 -> 选key（均匀）-> 分表规则（hash或range等）-> 执行（一般双写）-> 扩容问题（尽量减少数据的移动）。
高并发下数据库的一种优化方案：读写分离。就是一老主从复制的技术使得数据库实现数据复制多份，增加抵抗大量并发的得写能力。提升数据库的查询性能。以提高数据的安全性，
作者：tayroctang，腾讯 PCG 后台开发工程师 本文从 5W1H 角度介绍了分库分表手段，其在解决如 IO 瓶颈、读写性能、物理存储瓶颈、内存瓶颈、单机故障影响面等问题的同时也带来如事务性、主键冲突、跨库 join、跨库聚合查询等问题。anyway，在综合业务场景考虑，正如缓存的使用一样，本着非必须勿使用原则。如数据库确实成为性能瓶颈时，在设计分库分表方案时也应充分考虑方案的扩展性，或者考虑采用成熟热门的分布式数据库解决方案，如 TiDB。 阅读此文你将了解： 什么是分库分表以及为什么分库分表 如
不管是IO瓶颈，还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。
最近计划参与一个换书活动，翻到《企业IT架构转型之道阿里巴巴中台战略思想与架构实战》这本书时，回想起令我印象比较深刻的一个知识点：“异构索引表”，所以在此记录并分享，和大家共同学习交流。
一、分库分表类型 1、单库单表 所有数据都放在一个库，一张表。 2、单库多表 数据在一个库，单表水平切分多张表。 3、多库多表 数据库水平切分，表也水平切分。 二、分库分表查询 通过分库分表规则查找到对应的表和库的过程： 如分库分表的规则是acc_id mod 4的方式，当用户新注册了一个账号，账号id的123,我们可以通过acc_id mod 4的方式确定此账号应该保存到Acc_0003表中。当用户123登录的时候，我们通过123 mod 4后确定记录在Acc_0003中。 三、分库分表的问题 分库分表
类似订单表，用户表这种未来规模上亿甚至上十亿百亿的海量数据表，在项目初期为了快速上线，一般只是单表设计，不需要考虑分库分表。随着业务的发展，单表容量超过千万甚至达到亿级别以上，这时候就需要考虑分库分表这个问题了，而不停机分库分表迁移，这应该是分库分表最基本的需求，毕竟互联网项目不可能挂个广告牌"今晚10:00~次日10:00系统停机维护"，这得多low呀，以后跳槽面试，你跟面试官说这个迁移方案，面试官怎么想呀？
前一节课，我们学习了在高并发下数据库的一种优化方案：读写分离，它就是依靠主从复制的技术使得数据库实现了数据复制为多份，增强了抵抗大量并发读请求的能力，提升了数据库的查询性能的同时，也提升了数据的安全性，当某一个数据库节点，无论是主库还是从库发生故障时，我们还有其他的节点中存储着全量的数据，保证数据不会丢失。
当数据库的数据量过大，大到一定的程度，我们就可以进行分库分表。那么基于什么原则，什么方法进行拆分，这就是本篇所要讲的。
之前有不少刚入坑 Java 的粉丝留言，想系统的学习一下分库分表相关技术，可我一直没下定决心搞，眼下赶上公司项目在使用 sharding-jdbc 对现有 MySQL 架构做分库分表的改造，所以借此机会出一系分库分表落地实践的文章，也算是自己对架构学习的一个总结。
TiDB 作为分库分表方案的一个 “终结者”，获得了许多用户的青睐。在切换到 TiDB 之后，用户告别了分库分表查询和运维带来的复杂度。但是在从分库分表方案切换到 TiDB 的过程中，这个复杂度转移到了数据迁移流程里。TiDB DM 工具为用户提供了分库分表合并迁移功能，在数据迁移的过程中，支持将分表 DML 事件合并迁移，并一定程度支持上游分表进行 DDL 变更。
如果业务量剧增，数据库可能会出现性能瓶颈，这时候我们就需要考虑拆分数据库。从这几方面来看：
第一种：磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询时会产生大量的IO，降低查询速度 -> 分库和垂直分表。
面试官： 小伙子，看到你的简历上面写了项目中有对MySQL进行分库分表，为什么要进行分库分表？
大家好，我是田螺。我们去面试的时候，几乎都会被问到分库分表。田螺哥整理了分库分表的15道经典面试题，大家看完肯定会有帮助的。
今天和大家聊聊分库分表技术，大家面试的时候肯定都有这样的经历，面试官动不动就问分库分表、高并发、虚拟机、分布式事务等等这些高大上的技术。所以我们还是有必要要了解一下的。
今年以来，网络上时不时的就会传出“某某公司又裁员了，技术团队也被裁了”，其中不乏我们熟悉的一些大厂。
不管是 IO 瓶颈，还是 CPU 瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。
数据库在业务体系不大的情况，一般都是单库出现，通过增加主从复制提高SLA。但当业务体量不断扩大，就需要考虑进行数据拆分来解决性能瓶颈问题。
作者：尜尜人物 cnblogs.com/littlecharacter/p/9342129.html
视频地址: https://www.bilibili.com/video/BV1zy4y1m7ZS/
前面我们讲解了数据库的读写分离方案（数据库读写分离方案，实现高性能数据库集群）来解决我们的大量读流量对系统的冲击。那随着运营部门的同事在不停的做出各种促销或者拉新活动，我们注册用户越来越多，同时订单量以及用户行为数据等持续的增加，导致我们的系统现在出现了下面这些问题。
这是微服务还没兴起之前，很多项目的架构，随着业务的堆积，项目越来越庞大，数据量也越来越庞大，如果并发一旦上来，就很容易出现一些性能的问题。而且项目太庞大，维护起来也不容易。
今天是《分库分表 ShardingSphere 原理与实战》系列的开篇文章，之前写过几篇关于分库分表的文章反响都还不错，到现在公众号:程序员小富后台不断的有人留言、咨询分库分表的问题，我也没想到大家对于分库分表的话题会这么感兴趣，可能很多人的工作内容业务量较小很难接触到这方面的技能。这个系列在我脑子里筹划了挺久的，奈何手说啥也不干活，就一直拖到了现在。
哈啰出行作为阿里系共享单车的头部企业，在江湖中的知名度还是有的，而今天我们就来看一道哈啰 Java 一面中的经典面试题：当数据表中数据量过大时，应该如何优化查询速度？
之前有不少刚入坑 Java 的粉丝留言，想系统的学习一下分库分表相关技术，可我一直没下定决心搞，眼下赶上公司项目在使用 sharing-jdbc 对现有 MySQL 架构做分库分表的改造，所以借此机会出一系分库分表落地实践的文章，也算是自己对架构学习的一个总结。
面试官：这边有个数据库-单表1千万数据，未来1年还会增长多500万，性能比较慢，说下你的优化思路
背景 2016年Q3季度初，在美团外卖上单2.0项目上线后，商家和商品数量急速增长，预估商品库的容量和写峰值QPS会很快遇到巨大压力。随之而来也会影响线上服务的查询性能、DB（数据库，以下统一称DB）主从延迟、表变更困难等一系列问题。 要解决上面所说的问题，通常有两种方案。第一种方案是直接对现有的商品库进行垂直拆分，可以缓解目前写峰值QPS过大、DB主从延迟的问题。第二种方案是对现有的商品库大表进行分库分表，从根本上解决现有问题。方案一实施起来周期较短，但只能解决一时之痛，由此可见，分库分表是必然的。 在确
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
