前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >分库分表方案(一)

分库分表方案(一)

作者头像
喵叔
发布2020-09-08 16:38:54
8360
发布2020-09-08 16:38:54
举报
文章被收录于专栏:喵叔's 专栏喵叔's 专栏
零、概述

当活跃连接数量接近或者达到数据库可以承载的连接数量阈值时将会出现IO瓶颈和CPU性能瓶颈,进而导致上层业务系统的并发量、吞吐量出现问题,甚至导致系统崩溃。下面我先来说一下造成IO瓶颈和CPU性能瓶颈的原因。

  1. CPU瓶颈 当SQL语句中含有 join、group by 、 order by 以及非索引字段条件查询时CPU运算的操作就会增加。除了这种原因外,另一个造成CPU瓶颈的原因是单表数据太多,每次查询时扫描的数据行太多。
  2. IO瓶颈 造成IO瓶颈的原因有两种,一种是热点数据太多,数据库缓存太小无法放下,每次查询都会产生大量磁盘IO。一次请求的数据量太大,造成出现大量的网络IO。
一、分库方案
  1. 水平分表 当系统绝对并发量没有上来但是单表的数据量太多造成SQL效率底下加重CPU负担,以至于成为瓶颈。这时以字段为依据按照一定策略,将一个表中的数据拆分到多个表中。拆分之后每个表的结构都一样,但是数据都不一样没有交集,表的并集是全量数据。
  2. 水平分库 当系统绝对并发量上来了,并且分表难以根本上解决问题,而且还没有明显的业务归属。这时就以字段为依据,按照一定策略将一个库中的数据拆分到多个库中。拆分之后每个库的结构都一样;但是每个库的数据都不一样没有交集,库的并集是全量数据。
  3. 垂直分库 当系统绝对并发量上来了,而且可以抽象出单独的业务模块以表为依据,按照业务归属不同,将不同的表拆分到不同的库中。 拆分之后每个库的结构都一样;但是每个库的数据都不一样没有交集,库的并集是全量数据。
  4. 垂直分表 当系统绝对并发量并没有上来,表的记录并不多,但是字段多,并且热点数据和非热点数据在一起,单行数据所需的存储空间较大以字段为依据,这时按照字段的活跃性,将表中字段拆到不同的中。拆分之后每个表的结构都不一样,每个表的数据也不一样,每个表的字段至少有一列交集,一般是主键,用于关联数据;所有表的并集是全量数据。
二、总结

这里先简单的讲解了分库分表的方案,下一篇文章将详细讲解具体的操作。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-11-13 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 零、概述
  • 一、分库方案
  • 二、总结
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档