《Redis设计与实现》读书笔记(三十二) ——Redis事务设计与实现

《Redis设计与实现》读书笔记(三十二) ——Redis事务设计与实现

(原创内容,转载请注明来源,谢谢)

一、概述

redis的事务同数据库的事务概念一样,即多条命令都成功执行,才会生效,否则不生效。redis客户端中输入multi命令,然后中间的所有命令都不会立即生效,直到再输入exec命令。

二、redis事务实现

redis事务实现包括事务开始、事务入队、事务执行。

1、事务开始

当客户端输入multi命令,表示事务开始。该命令会将redis从非事务状态切换到事务状态,切换是通过修改客户端的flags属性,加上REDIS_MULTI常量,表示打开事务。

2、命令入队

当redis开启事务状态,只有4个命令会立即执行:multi、discard、exec、watch。其他命令都不立即执行,而是放入redis的事务队列,并且客户端回复queue。

每个redis客户端都有一个事务状态属性,保存在redisClient结构体的属性mstate中,该属性是multiState结构体,如下:

typedef struct multistate{
         multiCmd *commands;
         int count;
} multistate;

该结构体包含命令列表以及命令计数器,命令队列是FIFO的顺序,count记录已经入队的命令个数。其中,命令队列是multiCmd结构体类型的数组,结构体如下:

typedef struct multiCmd{
         robj **argv;
         int argc;
         struct redisCommand*cmd;
} multiCmd;

即,该结构体包含命令参数、参数个数以及指向实现命令的redisCommand结构体的指针。

3、执行事务

当处于事务状态的客户端收到命令exec,则会执行事务队列中的所有命令,并将结果按照执行顺序,全部返回给客户端。

执行过程包括:

1)创建空白队列,用于保存每个命令的执行结果;

2)按照FIFO的顺序执行命令队列的命令,并将结果按顺序放入空白队列;

3)移除flags属性的REDIS_MULTI标记,表示客户端退出事务;

4)清除入队命令计数器、释放事务队列;

5)将执行结果返回给客户端。

三、Watch命令实现

watch命令是一个乐观锁,可以在执行exec之前,监视任意数量数据库的键,并在执行exec时,检查监视的键是否有被修改的,如果有一个或以上的键被修改,则拒绝执行事务,客户端返回事务执行失败的空回复(nil)。

1、watch监视

通过watch key1 key2… 即可监视键。

redis数据库结构体redisDB中,保存着watched_keys字典,字典的键是被watch命令监视的键,值是一个链表,记录所有监视相应数据库键的客户端。

通过该字典,可以清楚判断哪些键被监视,以及哪些客户端监视这些键。

2、监视触发

所有对数据库的键进行修改的命令,如set、lpush等,执行后都会自动调用multi.c/touchWatchKey函数,对字典watched_keys进行检查,查看是否有数据库监视该键。

如果有数据库监视该键,则将监视被修改键的所有客户端的状态REDIS_DIRTY_CAS标识打开,表示该客户端事务的安全性已经被破坏。

3、判断事务是否安全

当客户端执行exec命令时,就会判断对应自身客户端的状态是否被打开REDIS_DIRTY_CAS,如果被打开,说明至少一个键被修改,则事务不安全,redis服务器拒绝客户端提交事务,并返回nil;如果没有被打开,表示事务安全,正常执行事务。

四、事务ACID性质

ACID分别表示Atomicity(原子性)、Consistency(一致性)、Isolation(隔离性)、(Durability)耐久性。redis的事务总是会保证ACI三个属性,在开启某些持久化方式后,也可以保证D的属性。

1、原子性

事务原子性指要么事务全部操作都执行,要么全部不执行。

例如redis的命令错误等,在命令入队的时候就会进行校验,如果有命令错误,则入队的时候会报错,等到执行exec时,redis则拒绝执行整个事务。

与很多关系型数据库不同,redis不支持事务的回滚,因为redis的作者认为事务出错只有在开发环境中会有,生产环境没有。而回滚会导致redis代码复杂,与设计初衷不符。

2、一致性

事务的一致性指事务执行前后,数据库是一致的,无论事务是否执行成功。一致指数据库的数据符号数据库本身定义和要求,没有非法、无效数据。

redis在三个地方进行校验:

1)入队出错

命令不存在或命令格式错误等,表示入队出错,redis会拒绝执行事务。

2)执行错误

事务执行过程中可能会发生错误,这些错误是在入队的时候无法发现的错误。在执行中发生的错误,不会中断事务,事务会继续进行。对数据库键进行错误类型操作是最常发生的执行错误。

错误的命令会被服务器报出,并且不会将错误的命令进行执行,保证数据一致性。

3)服务器停机

如果redis事务执行期间发生服务器停机,则根据redis的持久化的方案,会发生以下不同的情况:

1. 无持久化,则没有保存任何数据,数据是一致的。

2. rdb或aof持久化,则可以根据rdb或aof文件进行回复,不会发生数据不一致。如果无文件,则无法恢复数据,但数据仍是一致性的。

3、隔离性

隔离性是指多个事务并发进行,各个事务不会互相影响,并且并发状态下执行事务与串行状态下执行事务结果完全相同。

由于redis是单线程执行事务,且服务器保证事务执行期间不会有其他命令插入,因此redis的命令总是串行执行的,保证隔离性。

4、耐久性

事务耐久性是指一个事务执行完毕后,事务的结果被保存在磁盘里,后面及时服务器停机,数据仍存在。

由于redis的事务只是对一组命令进行包裹,并没有附带持久化的命令,因此redis事务的持久化与否取决于redis服务器配置的持久化策略。

只有redis在aof持久化状态下,且appendfsync选项的值设置为always,程序才会每次将命令的结果实时强制同步到磁盘中,redis的事务才有真正的耐久性,其他情况下的redis事务不具有耐久性。

虽然可以在执行exec之前,输入一个save命令,强制全磁盘保存,保证事务的耐久性,但是由于save是阻塞的,效率极低,因此不具有实用性。

五、总结

1、redis的事务是将一组命令打包,一次性、有序的执行。

2、事务中的多个命令会被放入到事务队列中,FIFO的被执行。

3、事务执行过程中不会被中断,一个事务执行完才会执行下一个事务。

4、watch命令通过数据库的redisDB结构体的watched_keys字典中,将字段与要监视的客户端进行关联,当键被修改,则相应的监视该键的全部客户端的REDIS_DIRTY_CAS标识被打开。只有该表示没打开,服务器才会执行客户端的事务,否则服务器会拒绝提交事务。

5、redis事务具有原子性、一致性、隔离性,其是否具有耐久性取决于redis持久化的配置策略。

——written by linhxx 2017.09.27

原文发布于微信公众号 - 决胜机器学习(phpthinker)

原文发表时间:2017-09-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏北京马哥教育

243张图片为你解析Linux轻量级自动运维化工具Ansible

基于Python语言研发,由Paramiko, PyYAML和Jinja2三个核心库实现;

1442
来自专栏我的博客

Python上传文件到FTP服务器

代码在python2.7下测试通过!写在最前面! # -*- coding: UTF-8 -*- from ftplib import FTP import o...

4056
来自专栏农夫安全

新型武器Xerosploit制霸内网

前言 今天在逛i春秋论坛的时候,看到有位大神写的一篇文章 脆弱的内网安全之Xerosploit的使用 这里面稍微带过一个各个模块的使用,我这里拿其中一个模块来详...

4684
来自专栏Java Edge

Redis Cluster流程原理

Redis 3.0之后,节点之间通过去中心化的方式,提供了完整的sharding、replication(复制机制仍使用原有机制,并且具备感知主备的能力)、fa...

832
来自专栏Java技术分享

Maven下载、安装和配置

这两件事情他都做到了,而且还做了更多的事情。Maven还可以管理项目的整个声明周期,包括编 译,构建,测试,发布,报告等等。目前Apache下绝大多数项目都已经...

2167
来自专栏伦少的博客

win10 spark+scala+eclipse+sbt 安装配置

转载请务必注明原创地址为:http://dongkelun.com/2018/03/15/winSparkConf/

46310
来自专栏屈政斌的专栏

【腾讯云的1001种玩法】centos 7 部署 dotnetcore + Angular2 实践

本文主要讲述了使用腾讯云主机,在centos 7 部署 dotnetcore + Angular2 的实践过程,该项目目前只是用于学习 dotnetcore ...

2.4K1
来自专栏小樱的经验随笔

mount命令详解及常见问题汇总

一 、mount命令(用来挂载硬盘或镜像等) 用法:mount [-t vfstype] [-o options] device dir 1、-t vfstyp...

4045
来自专栏北京马哥教育

243张图片为你解析Linux轻量级自动运维化工具Ansible

Ansible 是什么 ansible架构图 ansible特性 模块化:调用特定的模块,完成特定的任务; 基于Python语言研发,由Paramiko...

3406
来自专栏python学习指南

python爬虫(二)_HTTP的请求和响应

HTTP和HTTPS HTTP(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收HTML页面的方法 HTTPS(Hyp...

35210

扫码关注云+社区