1)什么是唯一索引?
案例:假设你在维护一个市民系统,每个人都有一个唯一的身份证号,而且业务代码已经保证了不会写入两个重复的身份证号。如果市民系统需要按照身份证号查姓名,那该如何建索引?
select name from CUser where id_card = 'xxxxxxxyyyyyyzzzzz';
2)为什么说不建议把身份证号当做主键?
3)对上面的语句建索引我们该怎么建?
业务代码已经保证了不会写入重复的身份证号,索引给 id_card 字段创建唯一索引,或者创建一个普通索引。 4)从性能的角度考虑,应该选择唯一索引还是普通索引呢?
案例:从这两种索引对查询语句和更新语句的性能影响来进行分析
4.1)select id from T where k=5在索引树上查找的过程在怎样的?
先通过 B+ 树从树根开始,按层搜索到叶子节点,图中右下角的这个数据页,然后在数据页内部(数组)通过二分法来定位记录。 4.1.1)如果K是普通索引,那什么时候停止查找?
找到满足条件的第一个记录 (5,500) 后,需要查找下一个记录,直到碰到第一个不满足 k=5 条件的记录。 4.1.2)如果K是唯一索引,那什么时候停止查找?
由于索引定义了唯一性,找到第一个满足的就停止,不再往后找。 4.1.3)4.1.1和4.1.2这个不同带来的性能差距会有多少呢?
4.1.4)为什么4.1.1和4.1.2几乎没有差距?
InnoDB 读数据不是一条一条从磁盘读到内存的,是一页一页读出来的,K=5和它的下一条都在这一页,所以普通索引多做的那次查找不费力。 4.1.5)InnoDB 中,每个数据页的大小默认是多少?
看完了对查询的影响,接下来我们来看看普通索引和唯一索引对更新语句性能的影响
4.2)什么是change buffer?
要更新一个数据页时,如果数据页在内存中就直接更新。 数据页不在内存中的话,在不影响数据一致性的前提下InnoDB 会将这些更新操作丢到 change buffer 中,这样就不需要从磁盘中读入这个数据页了。等下次有人查询的时候把数据页读到内存中了。那就顺道更新了。 4.2.1)change buffer只是存在于内存中吗?
4.2.2)将change buffer 中的操作应用到原数据页这个过程叫什么?
4.2.3)merge在哪些时刻会发生?
访问这个要更新的数据页会触发 merge 系统有后台线程会定期 merge 据库正常关闭(shutdown)的过程中,也会执行 merge。 4.2.4)change buffer的优点有哪些?
减少读磁盘,语句的执行速度会得到明显的提升。 数据读入内存会占用 buffer pool,这种方式还能够避免占用内存,提高内存利用率。 4.2.5)什么条件下可以使用 change buffer 呢?
对于唯一索引来说,所有的更新操作都要先判断这个操作是否违反唯一性约束。比如,要插入 (4,400) 这个记录,就要先判断现在表中是否已经存在 k=4 的记录,而这必须要将数据页读入内存才能判断。如果都已经读入到内存了,那直接更新内存会更快,就没必要使用 change buffer 了。 所以唯一索引不能用change buffer,只有普通索引才能用。 4.2.6)change buffer的大小是多少?
它是 buffer pool 里的内存,因此不能无限增大。 通过参数 innodb_change_buffer_max_size可以设置大小。 设置为 50 的时候,表示 change buffer 的大小最多只能占用 buffer pool 的 50%。 4.3)如果要在上面那张表中插入一个新记录 (4,400) 的话,InnoDB 的处理流程是怎样的?
目标页刚好在内存:对唯一索引来说,找到 3 和 5 之间的位置,判断到没有冲突,插入这个值,语句执行结束; 对于普通索引来说,找到 3 和 5 之间的位置,插入这个值,语句执行结束。 目标页不在内存中:对于唯一索引来说,需要将数据页读入内存,判断到没有冲突,插入这个值,语句执行结束; 对于普通索引来说,则是将更新记录在 change buffer,语句执行就结束了。 4.4)通过上面的分析,你知道更新的时候该选择唯一索引还是普通索引了吗?为什么?
将数据从磁盘读入内存涉及随机 IO 的访问,是数据库里面成本最高的操作之一。change buffer 因为减少了随机磁盘访问,所以对更新性能的提升是会很明显的。 4.5)因为唯一索引和普通索引的差距造成过哪些实际bug?
有个 DBA 的同学跟我反馈说,他负责的某个业务的库内存命中率突然从 99% 降低到了 75%,整个系统处于阻塞状态,更新语句全部堵住。而探究其原因后,我发现这个业务有大量插入数据的操作,而他在前一天把其中的某个普通索引改成了唯一索引。 4.6)普通索引的所有场景,使用 change buffer 都可以起到加速作用吗?
因为change buffer在merge之前把我们的更新语句缓存下来了,那么在merge之前,缓存的更新语句越多越好。 对于写多读少的业务来说,页面在写完以后马上被访问到的概率比较小,此时 change buffer 的使用效果最好。这种业务模型常见的就是账单类、日志类的系统。 假设一个业务的更新模式是写入之后马上会做查询,那么即使满足了条件,将更新先记录在 change buffer,但之后由于马上要访问这个数据页,会立即触发 merge 过程。这样随机访问 IO 的次数不会减少,反而增加了 change buffer 的维护代价。所以,对于这种业务模式来说,change buffer 反而起到了副作用。 5)经过上面的学习,普通索引和唯一索引应该怎么选择?
它两查询没啥差别,但是更新的话还是普通索引更胜一筹,所以我们尽量选择普通索引。 6)如果所有的更新后面,都马上伴随着对这个记录的查询,那我们应该做哪些操作?
7)前面我们说过redo log,那change buffer 和 redo log的区别是什么?
redo log 节省的是我们语句从内存写 入磁盘中的IO消耗 change buffer 节省的是我们数据从磁盘读 到内存的消耗 分析过程:
我们往数据库插入两条记录
insert into t(id,k) values(id1,k1),(id2,k2);
假如k1 所在的数据页在内存 (InnoDB buffer pool) 中
k2 所在的数据页不在内存中
这条更新语句做了如下的操作(按照图中的数字顺序):
Page 1 在内存中,直接更新内存; Page 2 没有在内存中,就在内存的 change buffer 区域,记录下“我要往 Page 2 插入一行”这个信息 将上述两个动作记入 redo log 中(图中 3 和 4)。 8)通过上图 你可以看到,change buffer 一开始是写内存的,那么如果这个时候机器掉电重启,会不会导致 change buffer 丢失呢?change buffer 丢失可不是小事儿,再从磁盘读入数据可就没有了 merge 过程,就等于是数据丢失了。会不会出现这种情况呢?
不会导致change buffer丢失。因为在更改change buffer 时也会写redo log,也需要持久化