服务化架构下的数据一致性如何保证

在系统服务化的过程中,我们不得不面临的一个问题是多个子系统间业务数据的一致性如何保证,解决这个问题有多种方式。

XA

可能很多人首先会想到XA规范中定义的分布式事务,下图是XA规范中定义的DTP(Distributed Transaction Processing)模型:

但该模式并不适用于如今的互联网应用,主要有以下几点问题: 1. XA采用2PC,并不能完全保证一致性; 2. 2PC有同步阻塞问题,并且增加了2次RTTs(round trip times),性能低下; 3. 服务化架构天然与DTP模型相悖,服务化架构显然是面向服务的,为了解决数据一致性,直接向对方暴露数据库,这还是服务化吗?

本地消息表+MQ

既然分布式事务不行,我们自然想到了本地事务,可以利用本地事务的ACID特性来保证一致性,数据存储之后,再想办法将数据传输给其它系统,做之后的业务处理,如果处理失败,还可以重试。这个过程实现起来并不难,并且有多种实现方式,但每个系统自己去搞成本还是很高的,所以我们追求的是一种通用且相对优雅的方式。目前业界多数都采用本地消息表+MQ的方式,本地消息表设计成一种通用的结构,与业务模型无关,将其放到业务库同实例上,这样就可以保证业务操作和存储消息在同一个事物内,其它线程读取消息表数据,发送到MQ Server(broker),发送成功则删除数据,失败则保留数据,后续会不断重试,直至成功。随后MQ Server进行广播通知其它系统,做后续处理,如果处理失败,MQ Server负责重试。

上面的流程看起来对业务侵入也比较大,但我们可以通过一些手段来屏蔽这些细节:

  • 首先,我们要搭建一个公共的MQ Server;
  • 其次,我们要预先在业务库去建立一个消息表,可以通过运维的手段解决;
  • 最后,我们要提供一个拆箱即用的Message Producer API,屏蔽发送消息的细节,Message Consumer API直接用MQ原生的即可。
@Transactional
public void doSth(Object obj) {
    xxxDao.insert(obj);// 1.biz operation
    Message msg = buildMessage(obj);
    messageProducer.sendMessage(msg);// 2.store msg
}

这套机制从0搭建起来还是需要较大成本的,但搭建完之后将一劳永逸,算是先苦后甜吧。

RocketMQ

那有没有现成的解决方案呢?答案是有的,那就是今年风头很盛的RocketMQ(已成为Apache顶级项目),RocketMQ在其商业版中提供了事物型消息,所谓事物型消息就是保证了业务操作和发送消息满足一致性(业务操作成功,消息一定发送成功,业务操作失败,消息一定未发送,反之也成立),上面描述的方式(本地消息表+MQ)就可以看作是事物型消息,下面引用一下阿里中间件团队博客中的描述。

这里的事务消息指的其实是数据发送者事务消息,简单而言就是在真正地做业务逻辑之前会发送一条半消息到服务端,接下来发送者会执行本地的事务,在完成本地事务之后,如果成功就会向服务端发送一条确认信息,这时候服务端会将之前的半消息事务状态进行变更;如果失败了,服务端就会不断地回调客户端,来保证发送端的事务一致性。

http://jm.taobao.org/2017/03/09/20170309/

这里的关键点是第三步如果失败,要依靠第四步broker回调客户端来保证一致性,这里猜测一下其大概实现,客户端发送消息前,会添加一个事物检查的实现,并开通一个端口,broker回调时会携带着topic、message等信息,客户端依据message信息和自己的业务数据判定是提交或者回滚,可能有些业务场景依据这两个信息无法判定,那客户端依然要建立本地消息表。

其它方案

其它方案大多缺失普适性,比如TCC(Try/Confirm/Cancel),适用于金融领域。

版权声明 本博客所有的原创文章,作者皆保留版权。转载必须包含本声明,保持本文完整,并以超链接形式注明作者高爽。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏james大数据架构

我是如何处理大并发量订单处理的 KafKa部署总结

  今天要介绍的是消息中间件KafKa,应该说是一个很牛的中间件吧,背靠Apache 与很多有名的中间件搭配起来用效果更好哦 ,为什么不用RabbitMQ,因为...

3249
来自专栏pocketdigi

openwrt路由器(小米路由)实现自定义DDNS(动态域名解析)

转自(https://www.pocketdigi.com/20181009/1626.html)

2.5K0
来自专栏机器学习实践二三事

Mac无法升级six, numpy等

OS 10.10以上,会出现你无法直接使用pip升级向six, numpy等,报错就是各种权限不够,加上sudo结果也一样,原因就是MacOS的系统完整性保护(...

2648
来自专栏JackeyGao的博客

ANSIBLE模块 - shell和command区别

Ansible 提供了大量的模块(All Modules)供执行 AD-Hoc 和撰写 playbook。 有些模块有很多通用性, 但设计为多个还是有部分区别的...

741
来自专栏杨建荣的学习笔记

通过shell脚本检测MySQL服务信息

第一部分是通过系统层面来解析MySQL的基本信息,方式是通过ps -ef|grep mysql得到的信息来解析。

1142
来自专栏java思维导图

从一笔金币充值去思考分布式事务

考虑支付重构的时候,自然想到原本属于一个本地事务中的处理,现在要跨应用了要怎么处理。拿充值订单举个栗子吧,假设:原本订单模块和账户模块是放在一起的,现在需要做服...

744
来自专栏安恒信息

揭密HTML 5带来的攻击手法

HTML5 是下一代的HTML,HTML5赋予网页更好的意义和结构。更加丰富的标签将随着对RDFa的,微数据与微格式等方面的支持,构建对程序、对用户...

3415
来自专栏司想君

接受“不完美”:分布式事务学习总结

作为一个前端专业的人来说,对于事务的理解,一直停留在“要么都成功,要么都不成功”的小白阶段。既然自己将2018年定义为”深入理解“的一年,那么就从深入理解事务开...

3125
来自专栏Java架构沉思录

从一笔金币充值去思考分布式事务

考虑支付重构的时候,自然想到原本属于一个本地事务中的处理,现在要跨应用了要怎么处理。拿充值订单举个栗子吧,假设:原本订单模块和账户模块是放在一起的,现在需要做服...

823
来自专栏喔家ArchiSelf

老曹眼中的缓存技术

缓存是系统快速响应中的一种关键技术,是一组被保存起来以备将来使用的东西,介于应用开发和系统开发之间,是产品经理们经常顾及不到的地方,算是技术架构中的非功能性约束...

1182

扫码关注云+社区