【眼见为实】自己动手实践理解数据库REPEATABLE READ && Next-Key Lock

[REPEATABLE READ]

首先设置数据库隔离级别为可重复读(REPEATABLE READ):

set global transaction isolation level REPEATABLE READ ;
set session transaction isolation level REPEATABLE READ ; 

[REPEATABLE READ]能解决的问题之一

[REPEATABLE READ]隔离级别解决了不可重复读的问题,一个事务中多次读取不会出现不同的结果,保证了可重复读。 还是上一篇中模拟不可重复读的例子: 事务1

START TRANSACTION;
① SELECT sleep(5);
② UPDATE users SET state=1 WHERE id=1;
COMMIT;

事务2

START TRANSACTION;
① SELECT * FROM users WHERE id=1;
② SELECT sleep(10);
③ SELECT * FROM users WHERE id=1;
COMMIT;  

事务1先于事务2执行。 事务1的执行信息

[SQL 1]START TRANSACTION;
受影响的行: 0
时间: 0.000s

[SQL 2]
SELECT sleep(5);
受影响的行: 0
时间: 5.001s

[SQL 3]
UPDATE users SET state=1 WHERE id=1;
受影响的行: 1
时间: 0.000s

[SQL 4]
COMMIT;
受影响的行: 0
时间: 0.062s

事务2的执行信息

[SQL 1]
    SELECT * FROM users WHERE id=1;
受影响的行: 0
时间: 0.000s

[SQL 2]
    SELECT sleep(10);
受影响的行: 0
时间: 10.001s

[SQL 3]
    SELECT * FROM users WHERE id=1;
受影响的行: 0
时间: 0.001s

[SQL 4]
    COMMIT;
受影响的行: 0
时间: 0.001s

执行结果

结论: 可重复读[REPEATABLE READ]隔离级别解决了不可重复读的问题。

分析: 可重复读[REPEATABLE READ]隔离级别能解决不可重复读根本原因其实就是前文讲过的read view的生成机制和[READ COMMITTED]不同。 [READ COMMITTED]:只要是当前语句执行前已经提交的数据都是可见的。 [REPEATABLE READ]:只要是当前事务执行前已经提交的数据都是可见的。 在[REPEATABLE READ]的隔离级别下,创建事务的时候,就生成了当前的global read view,一直维持到事务结束。这样就能实现可重复读。

在模拟不可重复读的事务中,事务2创建时,会生成一份read view。事务1的事务id trx_id1=1,事务2的事务id trx_id2=2。假设事务2第一次读取数据前的此行数据的事务trx_id=0。事务2中语句①执行前生成的read view为{1},trx_id_min=1,trx_id_max=1。因为trx_id(0)<trx_id_min(1),该行记录的当前值可见,将该可见行的值state=0返回。因为在[REPEATABLE READ]隔离级别下,只有在事务创建时才会重新生成read view ,事务2第二次读取数据之前事务1对数据进行了更新操作,此行数据的事务trx_id=1。trx_id_min(1)=trx_id(1)=trx_id_max(1),此时此行数据对事务2是不可见的,从该行记录的DB_ROLL_PTR指针所指向的回滚段中取出最新的undo-log的版本号的数据,将该可见行的值state=0返回。所以事务2第二次读取数据时的处理和第一次读取时是一致的,读取的state=0。数据是可重复读的。

从事务1的执行信息中的[SQL 3]我们可以得知,[REPEATABLE READ]隔离级别读操作也是不加锁的。因为如果读需要加S锁的话,是在事务结束时释放S锁的。那么事务1[SQL 3]进行更新操作申请X锁的时候便会等待事务2的S锁释放。现实并不是。

我们知道,MySql的InnoDB引擎是通过MVCC的方式在保证数据的安全性的同时,实现了读的非阻塞。MVCC模式需要额外的存储空间,需要做更多的行检查工作;但是保证了读操作不用加锁,提升了性能,是一种典型的牺牲空间换取时间思想的实现。需要注意的是,MVCC只在[READ COMMITTED]和[REPEATABLE READ]两个隔离级别下工作。其他两个隔离级别都和MVCC不兼容,因为[READ UNCOMMITTED]总是读取最新的数据行,而不是符合当前事务版本的数据行。而[SERIALIZABLE]则会对所有读取的行都加锁。

通过亲自实践模拟分析[READ COMMITTED]和[REPEATABLE READ]两个隔离级别的工作机制,我们也能深刻的体会到各个数据库引擎实现各种隔离级别的方式并不是和标准sql中的封锁协议定义一一对应的。

[REPEATABLE READ]能解决的问题之二

幻读其实是不可重复读的一种特殊情况。不可重复读是对数据的修改更新产生的;而幻读是插入或删除数据产生的。所谓的幻读有2种情况,一个事物之前读的时候,读到一条记录,再读发现记录没有了,被其它事务删了,另外一种是之前读的时候记录不存在,再读发现又有这条记录,其它事物插入了一条记录。

事务1

START TRANSACTION;
SELECT * FROM users;
SELECT sleep(10);
SELECT * FROM users;
COMMIT;

事务2

START TRANSACTION;
SELECT sleep(5);
INSERT INTO users VALUES(2,'song',2);
COMMIT;

执行结果

1.预期结果

2.实际结果

事务1中并没有读取到事务2新插入的数据,并没有发生幻读现象。这有点出乎我的意料,难道Mysql[REPEATABLE READ]隔离级别能解决幻读问题?按照封锁协议定义,三级封锁协议是解决不了幻读的问题的。只有最强封锁协议,读和写都对整个表加锁,才能解决幻读的问题。但是这样做相当于所有的操作串行化,数据库支持并发的能力会变得极差。所以Mysql的InnoDB引擎通过自己的方式在[REPEATABLE READ]隔离级别上解决了幻读的问题,下面我们探究一下InnoDB引擎是如何解决幻读问题的。

分析: InnoDB有三种行锁的算法: 1.Record Lock:单个行记录上的锁。 2.Gap Lock:间隙锁,锁定一个范围,但不包括记录本身。GAP锁的目的,是为了防止同一事务的两次当前读,出现幻读的情况。 3.Next-Key Lock:1+2,锁定一个范围,并且锁定记录本身。主要目的是解决幻读的问题。

在[REPEATABLE READ]级别下,如果查询条件能使用上唯一索引,或者是一个唯一的查询条件,那么仅加行锁(通过唯一的查询条件查询唯一行,当然不会出现幻读的现象);如果是一个范围查询,那么就会给这个范围加上 Gap锁或者 Next-Key锁 (行锁+Gap锁)。理论上不会发生幻读

验证一下Gap Lock和Next-Key Lock的存在

我们可以通过自己操作来验证一下Gap Lock和Next-Key Lock的存在。 首先我们需要给state字段加上索引。然后准备几条数据,如下图:

事务1

START TRANSACTION;  
① SELECT * FROM users WHERE state=3 for UPDATE;

事务2

[SQL]INSERT INTO users VALUES(5,'song',1);
[Err] 1205 - Lock wait timeout exceeded; try restarting transaction

[SQL]INSERT INTO users VALUES(6,'song',2);
[Err] 1205 - Lock wait timeout exceeded; try restarting transaction

[SQL]INSERT INTO users VALUES(6,'song',3);
[Err] 1205 - Lock wait timeout exceeded; try restarting transaction

[SQL]INSERT INTO users VALUES(6,'song',4);
[Err] 1205 - Lock wait timeout exceeded; try restarting transaction

[SQL]INSERT INTO users VALUES(5,'song',0);
受影响的行: 1
时间: 0.120s

[SQL]INSERT INTO users VALUES(6,'song',5);
受影响的行: 1
时间: 0.195s

[SQL]INSERT INTO users VALUES(7,'song',7);
受影响的行: 1
时间: 0.041s

因为InnoDB对于行的查询都是采用了Next-Key Lock的算法,锁定的不是单个值,而是一个范围(GAP)。上面索引值有1,3,5,8,其记录的GAP的区间如下: (-∞,1],(1,3],(3,5],(5,8],(8,+∞)。是一个左开右闭的空间。需要注意的是,InnoDB存储引擎还会对辅助索引下一个键值加上Gap Lock。事务1语句①锁定的范围是(1,3],下个键值范围是(3,5],所以插入1~4之间的值的时候都会被锁定,要求等待,等待超过一定时间便会进行超时处理(Mysql默认的超时时间为50秒)。插入非这个范围内的值都正常。

[REPEATABLE READ]读到底加不加锁?

当我理解了[REPEATABLE READ]隔离级别是如何解决幻读问题时,随即产生了另一个疑问。[READ COMMITED]和[REPEATABLE READ]通过MVCC的方式避免了读操作加锁的问题,但是[REPEATABLE READ]又为了解决幻读的问题加Gap Lock或Next-Key Lock。那么问题来了,[REPEATABLE READ]读到底加不加锁?我对这个问题是百思不得其解,直到读到了这篇文章才算理解了一些。

我们可以思考一下如果InnoDB对普通的查询也加了锁,那和序列化(SERIALIZABLE)的区别又在哪里呢?我的理解是InnoDB提供了Next-Key Lock,但需要应用自己去加锁。这里又涉及到一致性读(快照读)和当前读。如果我们选择一致性读,也就是MVCC的模式,读就不需要加锁,读到的数据是通过Read View控制的。如果我们选择当前读,读是需要加锁的,也就是Next-Key Lock,其他的写操作需要等待Next-Key Lock释放才可写入,这种方式读取的数据是实时的。

一致性读很好理解,读不加锁,不堵塞读。当前读对读加锁可能比较难理解,我们可以通过一个例子来理解一下:

事务1									   事务2
START TRANSACTION; 						  START TRANSACTION; 
SELECT * FROM users;
										INSERT INTO users VALUES (2, 'swj',2);
                                		   COMMIT;
SELECT * FROM users;
SELECT * FROM users LOCK IN SHARE MODE;
SELECT * FROM users FOR UPDATE;

执行结果

mysql> SELECT * FROM users;
+----+------+-------+
| id | name | state |
+----+------+-------+
|  1 | swj  |     1 |
+----+------+-------+
1 row in set (0.04 sec)

mysql> SELECT * FROM users;
+----+------+-------+
| id | name | state |
+----+------+-------+
|  1 | swj  |     1 |
+----+------+-------+
1 row in set (0.08 sec)

mysql> SELECT * FROM users LOCK IN SHARE MODE;
+----+------+-------+
| id | name | state |
+----+------+-------+
|  1 | swj  |     1 |
|  2 | swj  |     2 |
+----+------+-------+
2 rows in set (0.00 sec)

mysql> SELECT * FROM users FOR UPDATE;
+----+------+-------+
| id | name | state |
+----+------+-------+
|  1 | swj  |     1 |
|  2 | swj  |     2 |
+----+------+-------+
2 rows in set (0.00 sec)

结论MVCC是实现的是快照读,Next-Key Lock是对当前读。MySQL InnoDB的可重复读并不保证避免幻读,需要应用使用加锁读来保证,而这个加锁读使用到的机制就是Next-Key Lock


作者:撸码那些事

声明:本文为博主学习感悟总结,水平有限,如果不当,欢迎指正。如果您认为还不错,不妨关注一下我的【微信公众号】,第一时间获取文章更新。转载与引用请注明出处。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏蓝天

程序员常用mysql命令

授权指定IP连接: grant all on *.* to root@'127.0.0.1' identified by 'root110'; 其中root...

994
来自专栏农夫安全

注入学习之sqli-labs-3(第二关)

前言 本来是想一个个关卡讲下去,后来自己测试了一下,发现第二、三、四这三关跟第一关,起始原理是一样的,只不过是单引号,双引号,带不带括号的区别,只要我们带入的语...

3346
来自专栏撸码那些事

【眼见为实】自己动手实践理解数据库REPEATABLE READ &amp;&amp; Next-Key Lock

1092
来自专栏用户2442861的专栏

MySQL详解--锁

锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中,除传统的计算资源(如CPU、RAM、I/O等)的争用以外,数据也是一种供许多用户共享的资源。如...

783
来自专栏Clive的技术分享

Mysql锁相关锁的分类锁的适用场景MyISAM表锁MyISAM写阻塞读的例子MyISAM读阻塞写例子MyISAM并发插入MyISAM读写并发MyISAM锁调度调节MyISAM锁调度行为解决读写冲突的

锁类型/引擎 行锁 表锁 页锁 MyISAM 有 InnoDB 有 有 BDB(被InnoDB取代) 有 有 锁的分类 表...

4255
来自专栏乐沙弥的世界

ORA-00942: table or view does not exist

      在过程,包,函数,触发器中调用Oracle相关动态性能视图时,需要授予适当的权限,否则会收到表和视图不存在的错误提示。即使你可以单独查询这些视图。因...

1232
来自专栏熊二哥

那些年我们写过的T-SQL(下篇)

下篇的内容很多都会在工作中用到,尤其是可编程对象,那些年我们写过的存储过程,有木有?到目前为止很多大型传统企业仍然很依赖存储过程。这部分主要难理解的部分是事务和...

2115
来自专栏杨建荣的学习笔记

数据紧急修复之启用错误日志 (r2第12天)

昨晚对测试环境进行了升级,同步了部分生产的数据。整个过程比较顺利,但是在最后一步启用foreign key constraint的时候报了错误。 ora-022...

2849
来自专栏Ken的杂谈

CentOS 7下InfluxDB部署与使用入门

InfluxDB里存储的数据被称为时间序列数据,InfluxDB存储方式跟传统关系型数据库不同的是:传统关系型数据库通过数据库+表+字段组织数据,InfluxD...

2314
来自专栏Aloys的开发之路

Oracle系统表整理+常用SQL语句收集

-- DBA/ALL/USER/V_$/GV_$/SESSION/INDEX开头的绝大部分都是视图 -- DBA_TABLES意为DBA拥有的或可以访问的所有...

22810

扫码关注云+社区