MySQL冗余数据的三种方案 | 架构师之路

一,为什么要冗余数据

互联网数据量很大的业务场景,往往数据库需要进行水平切分来降低单库数据量。

水平切分会有一个patition key,通过patition key的查询能够直接定位到库,但是非patition key上的查询可能就需要扫描多个库了。

此时常见的架构设计方案,是使用数据冗余这种反范式设计来满足分库后不同维度的查询需求。

例如:订单业务,对用户和商家都有订单查询需求:

Order(oid, info_detail);

T(buyer_id, seller_id, oid);

如果用buyer_id来分库,seller_id的查询就需要扫描多库。

如果用seller_id来分库,buyer_id的查询就需要扫描多库。

此时可以使用数据冗余来分别满足buyer_id和seller_id上的查询需求:

T1(buyer_id, seller_id, oid)

T2(seller_id, buyer_id, oid)

同一个数据,冗余两份,一份以buyer_id来分库,满足买家的查询需求;一份以seller_id来分库,满足卖家的查询需求。

如何实施数据的冗余,是今天将要讨论的内容。

二,服务同步双写

顾名思义,由服务层同步写冗余数据,如上图1-4流程:

  • 业务方调用服务,新增数据
  • 服务先插入T1数据
  • 服务再插入T2数据
  • 服务返回业务方新增数据成功

优点

  • 不复杂,服务层由单次写,变两次写
  • 数据一致性相对较高(因为双写成功才返回)

缺点

  • 请求的处理时间增加(要插入两次,时间加倍)
  • 数据仍可能不一致,例如第二步写入T1完成后服务重启,则数据不会写入T2

如果系统对处理时间比较敏感,引出常用的第二种方案。

三,服务异步双写

数据的双写并不再由服务来完成,服务层异步发出一个消息,通过消息总线发送给一个专门的数据复制服务来写入冗余数据,如上图1-6流程:

  • 业务方调用服务,新增数据
  • 服务先插入T1数据
  • 服务向消息总线发送一个异步消息(发出即可,不用等返回,通常很快就能完成)
  • 服务返回业务方新增数据成功
  • 消息总线将消息投递给数据同步中心
  • 数据同步中心插入T2数据

优点

  • 请求处理时间短(只插入1次)

缺点

  • 系统的复杂性增加了,多引入了一个组件(消息总线)和一个服务(专用的数据复制服务)
  • 因为返回业务线数据插入成功时,数据还不一定插入到T2中,因此数据有一个不一致时间窗口(这个窗口很短,最终是一致的)
  • 在消息总线丢失消息时,冗余表数据会不一致

不管是服务同步双写,还是服务异步双写,服务都需要关注“冗余数据”带来的复杂性。如果想解除“数据冗余”对系统的耦合,引出常用的第三种方案。

四,线下异步双写

为了屏蔽“冗余数据”对服务带来的复杂性,数据的双写不再由服务层来完成,而是由线下的一个服务或者任务来完成,如上图1-6流程:

  • 业务方调用服务,新增数据
  • 服务先插入T1数据
  • 服务返回业务方新增数据成功
  • 数据会被写入到数据库的log中
  • 线下服务或者任务读取数据库的log
  • 线下服务或者任务插入T2数据

优点

  • 数据双写与业务完全解耦
  • 请求处理时间短(只插入1次)

缺点

  • 返回业务线数据插入成功时,数据还不一定插入到T2中,因此数据有一个不一致时间窗口(这个窗口很短,最终是一致的)
  • 数据的一致性依赖于线下服务或者任务的可靠性

五,总结

互联网数据量大的业务场景,常常:

  • 使用水平切分来降低单库数据量
  • 使用数据冗余的反范式设计来满足不同维度的查询需求
  • 使用服务同步双写法能够很容易的实现数据冗余
  • 为了降低时延,可以优化为服务异步双写法
  • 为了屏蔽“冗余数据”对服务带来的复杂性,可以优化为线下异步双写法

原文发布于微信公众号 - 架构师之路(road5858)

原文发表时间:2017-07-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏君赏技术博客

【已解决】AppStore 如何上传预览视频

3022
来自专栏知晓程序

想第一时间发布小程序?人人都得这样做 | 小程序接入指南

1794
来自专栏架构师之路

微信为啥这么省流量?

前言:“客户端上传时间戳”的玩法,你玩过么?一起聊聊时间戳的奇技淫巧! 缘起:无线时代,流量敏感。APP在登录后,往往要向服务器同步非常多的数据,很费流量,技术...

3869
来自专栏Linyb极客之路

12大要点让你的Java开发所向披靡~

比如,没有把一些需要并发执行时使用的线程数设置成可在属性文件中配置。那么你的程序无论在DEV环境中,还是TEST环境中,都可以顺畅无阻地运行,但是一旦部署在PR...

852
来自专栏小芭乐的专栏

WebSocket 长连接应用场景

没事打开小程序,和附近的人剪刀石头布,想来就来,想走就走。谁能成为武林高手?!

9K4
来自专栏企鹅号快讯

Java开发的几个注意点

将一些需要变动的配置写在属性文件中 比如,没有把一些需要并发执行时使用的线程数设置成可在属性文件中配置。那么你的程序无论在DEV环境中,还是TEST环境中,都可...

1806
来自专栏Thinks

你的第一个渐进式网站应用(1)

渐进式网站应用程序是结合网站和应用程序中最好的体验。它们对于用户来说从浏览器标签中第一次访问,不需要安装是非常有用的。随着用户逐渐建立与应用程序的关系,它变得越...

961
来自专栏更流畅、简洁的软件开发方式

【自然框架】通用权限的视频演示(一):添加角色,权限到功能节点和按钮

      写了几个关于权限的东东,好像大家都不大理解,也不太清楚我的权限到底能做什么,所以想来想去还是弄点视频吧,就是屏幕录像,这样大家看起来就方便了吧。  ...

25210
来自专栏假装我会写代码

用 Algolia DocSearch 轻松实现文档全站搜索

4113
来自专栏全华班

互联网云快速开发框架

--我的信息 --我的通告 --文件 2、会员 --用户中心 --用户地图 --积分活动平台 --极光推送 3、营销 --营销活动 --活动汇 --现场活动平台...

2101

扫码关注云+社区

领取腾讯云代金券