首页
学习
活动
专区
圈层
工具
发布
49 篇文章
1
美团面试:如何设计一个RPC框架?
2
美团面试:如何设计一个注册中心?
3
消息队列设计精要
4
Replication(上):常见的复制模型&分布式系统的挑战
5
Replication(下):事务,一致性与共识
6
网易面试:将Bean放入Spring容器中有几种方式?
7
MySQL慢查询之慢 SQL 定位、日志分析与优化方案
8
面试官:MQ 消息丢失、重复、积压问题,如何解决?
9
面试官:Spring中获取Bean有几种方式?
10
面试:你知道Java性能优化有哪些手段?
11
面试官:千万级数据,怎么快速查询?
12
面试官:你会哪些JVM调优参数?
13
面试官:如何设计一个 订单系统?
14
和面试官聊了半小时的MySQL索引!
15
121道分布式面试题和答案
16
数据库分库分表,何时分?怎样分?
17
一个单例模式,被问7个问题,难!
18
在线面试:如何设计一个秒杀系统?
19
Spring 为何需要三级缓存解决循环依赖,而不是二级缓存?
20
面试官:熟悉SQL优化吗?我只知道20种,其实远不止...
21
吐血整理 | Java并发编程 72 卷
22
面试官再问currentHashMap,就将这篇文章甩给他
23
保姆级教程,2万字详解JVM
24
这代码写的跟狗屎一样!怎么优化?19招搞定它
25
P7大佬压箱底的学习笔记
26
6000多字 | 秒杀系统设计注意点
27
动画+原理+代码+优化,解读十大经典排序算法
28
到底什么是重入锁?拜托,一次搞清楚!
29
面试官再问你 ThreadLocal,你就这样“怼”回去!
30
分布式锁:5个案例,附源码
31
美团面试:说说CAP,我的回答方式很特别
32
分布式事务 :可靠消息最终一致性方案
33
美团面试官:讲清楚MySQL结构体系,立马发offer
34
equals方法比较的是内容?谁告诉你的
35
我通过六个 MySQL 死锁案例,终于理解了死锁的原因
36
必知必会 RabbitMQ面试题 33道(附答案)
37
万字总结 MySQL核心知识,赠送25连环炮
38
那些年,面试被虐过的红黑树
39
小老弟用 案列 引出 ReentrantLock实现原理
40
五分钟说清楚 Spring Boot的自动配置原理
41
面试:Zookeeper常见11个连环炮
42
长文干货 | 手写自定义持久层框架!
43
怒肝一夜 | Mybatis源码深度解析
44
美女面试官问我:能说几个常见的Linux性能调优命令吗?
45
吊打面试官系列:final、finally、finalize 有什么区别?
46
面试官问:如何排除GC引起的CPU飙高?我脱口而出5个步骤
47
JVM真香系列:堆内存详解
48
电商项目实战:如何设计站内信
49
72道 并发编程 面试题!
清单首页面试文章详情

分布式事务 :可靠消息最终一致性方案

大家好,我是田维常,江湖人称老田、田哥、田神,一个爱打球的程序员。

事务想必大家并不陌生,比如经常被人提起的ACID,但是为了后续的分布式事务的内容,我们先来聊聊 ACID,然后再介绍下什么是分布式事务,最后着重讲下基于可靠消息的分布式事务解决方案。

什么是事务

严格意义上的事务应该是具备原子性、一致性、隔离性和持久性,简称 ACID

  1. 原子性(Atomicity),可以理解为一个事务内的所有操作要么都执行,要么都不执行。
  2. 一致性(Consistency),可以理解为数据是满足完整性约束的,也就是不会存在中间状态的数据,比如你钱包有100,我钱包有100,你给我打50块,此时你钱包的钱应该是50,我钱包的钱应该是150,不会存在我钱加了,你钱没扣的中间状态。
  3. 隔离性(Isolation),指的是多个事务并发执行的时候不会互相干扰,即一个事务内部的数据对于其他事务来说是隔离的。
  4. 持久性(Durability),指的是一个事务完成了之后数据就被永远保存下来,之后的其他操作或故障都不会对事务的结果产生影响。

而通俗意义上事务就是为了使得一些更新操作要么都成功,要么都失败

什么是分布式事务

分布式事务顾名思义就是要在分布式系统中实现事务,它其实是由多个本地事务组合而成。

一次大的操作由不同的小操作组成的,这些小的操作分布在不同的服务器上,分布式事务需要保证这些小操作要么全部成功,要么全部失败。从本质上来说,分布式事务就是为了保证不同数据库数据一致性

常见的分布式事务的解决方案有以下几种:2PC,3PC,TCC,本地消息表、可靠消息最终一致性、尽最大努力通知

今天我们就着重讲讲可靠消息最终一致性的解决方案

什么是可靠消息最终一致性方案

可靠消息最终一致性方案是指当事务发起方执行完成本地事务后发出消息到消息中间件事务参与方(消息消费者)一定能够接收到消息并处理事务成功,此方案强调的是只要消息发给事务参与方,则最终事务要达到一致

这个方式存在哪些问题?

此方案是通过消息中间件实现的,事务发起方(消息生产方)将消息发给消息中间件,事务参与方从消息中间件接收消息,由于网络通信的不确定性会导致分布式事务问题,如下图:

  1. 本地事务与消息的原子性问题

如上图在虚线框内,存在以下几种情况:

1)本地事务提交失败,则消息不发送。 2)本地事务成功,消息发送失败,本地事务回滚。 3)本地消息成功,消息超时,本地事务回滚,消息最终失败。 4)本地消息成功,消息超时,本地事务回滚,消息最终成功。

综上所述,存在第四种情况,造成本地事务,与消息参与方的事务不一致。

  1. 事务参与方接收消息的可靠性。

消息中间件与事务参与方要确保能够成功消费到消息。

  1. 消息重复消费

注意事务参与方的接口幂等性问题,消息参与方可能已经成功消费,由于网络问题导致消息中间件认为消息未消费,发起重试之后产生的问题。

解决方案

  1. 本地消息表

本地消息表的关键在于本地有一张存储消息日志的记录表,需要启动一个定时任务去不停地扫描消息日志记录,确保消息能够被发送。具体流程如下图:

上图流程:

1)事务发起方本地事务执行成功,在本地消息表中记录消息日志。 2)启动定时任务,循环扫描本地消息表。 3)定时任务扫描到消息则发送消息到消息中间件。 4)消息中间件收到消息,成功返回消息发送成功通知给事务发起方。 5)事务发起方收到消息发送成功则删除日志消息。 6)事务参与方订阅消息,消费消息。 7)事务参与方处理本地事务。 8)本地事务处理成功,发送成功ack给消息中间件。

需要注意的点: 事务参与方保证接口幂等性

  1. RocketMq事务消息方案

Apache RocketMQ 4.3之后的版本正式支持事务消息,为分布式事务实现提供了便利性支持。在RocketMQ 4.3后实现了完整的事务消息,实际上其实是对本地消息表的一个封装,将本地消息表移动到了MQ内部,解决 Producer 端的消息发送与本地事务执行的原子性问题。

实现流程:

1)事务发起方发送Half事务消息 2)RocketMq回复Half发送成功 3)事务发起方执行本地事务 4)事务发起方执行本地事务成功,发送commit到RocketMq,mq投递消息到事务参与方;事务发起方执行本地事务失败,发送rollback到RocketMq,mq删除消息。 5)当RocketMq一定时间内未收到来自事务发起方的确认信息,会对事务发起方进行事务回查。 6)事务发起方查询本地事务状态。 7)事务发起方根据查询到的事务状态发送commint/rollback到RocketMq。 8)当RocketMq发起commit后,收到失败或一定时间未收到成功ack,则会发起重试。

优点

消息数据独立存储,降低业务系统与消息系统之间的耦合。 吞吐量优于本地消息表方案。

缺点

一次消息发送需要两次网络请求(half消息 + commit/rollback)。 需要实现消息回查接口。

其实每种分布式事务的解决方案都有优劣,我们需要权衡利弊,选择最合适业务场景的一种才是王道!


好了。今天就说到这了,我还会不断分享自己的所学所想,希望我们一起走在成功的道路上!

下一篇
举报
领券