《Redis设计与实现》读书笔记(二十四) ——Redis主从复制原理

《Redis设计与实现》读书笔记(二十四)

——Redis主从复制原理

(原创内容,转载请注明来源,谢谢)

一、概述

redis中,可以用slaveof命令,或者在配置中设置slaveof选项,让一个服务器去复制另一个服务器。去复制的服务器称为从服务器(slave),被复制的称为主服务器(master)。

主服务器的增删改,在从服务器中都会一并有改动。

redis2.8之前(不含2.8)的版本(下称旧版),和之后(含2.8)的版本(下称新版),对于复制的做法有所不同,将分别分析。

二、旧版复制原理

复制分为同步和命令传播两个部分。同步操作将从服务器的数据库状态更新至主服务器当前所处的数据库状态;命令传播是用于主服务器状态修改,导致主从不一致时,让主从重新一致的做法。

1、同步

同步发送在第一次生成主从服务器,或者从服务器断线后重连的情况。

当客户端发送slaveof命令,就会进行一次同步。同步命令是通过向主服务器发送sync命令来实现的,步骤如下:

1)从服务器向主服务器发送sync命令。

2)主服务器收到sync命令后,会执行bgsave命令,生成rdb文件,并且开启写缓冲区,将bgsave期间的数据暂存。

3)主服务器将rdb文件发送给从服务器,从服务器导入文件。

4)主服务器将缓冲区的写命令发送给从服务器,从服务器进行更新。

2、命令传播

当主从同步完毕后,后续主服务器的状态改变,就不是再用rdb的方式,否则效率太低。

因此,为了保证主从一直,主服务器会把每个影响主服务器状态的命令,都发送给从服务器,从服务器执行命令后就和主服务器一致。

3、存在问题

对于断线重连,还需要主服务器bgsave并且自身导入rdb文件,效率比较低。因为主从服务器数据不一致的地方只有从服务器断线重连的这段时间的命令,而不是全部的命令。

sync操作非常耗费资源:

1)主服务器bgsave命令会耗费主服务器大量I/O、内存、CPU。

2)主服务器发送rdb给从服务器,会占用大量网络资源。

3)从服务器接收rdb到完全载入完毕之前,无法对外提供服务。

三、新版复制原理

1、概述

从2.8版本的redis开始,采用psync命令进行主从复制,替代sync,该命令具有完整重同步和部分重同步两种模式。

1)完整重同步

完整重同步仅用于初次复制,步骤和sync一致。

2)部分重同步

部分重同步用于断线重连的情况,主服务器会在从服务器重连后,将断线期间的命令都发送给从服务器,从服务器只需要接收并执行这些命令即可实现同步。

部分重同步有三部分构成:

1)主服务器的复制偏移量和从服务器的复制偏移量。

2)主服务器的复制积压缓冲区。

3)服务器的运行ID。

2、复制偏移量

主从服务器会分别维护一个复制偏移量,主服务器每次向从服务器传播N字节的数据,偏移量就加N,同样从服务器接收N字节也加N。

通过对比这个偏移量,就可以判断是否一致,如果偏移量一样就是一致,否则不一致。

3、复制积压缓冲区

当主从复制偏移量不一致,则判断出主从不一致,此时则需要用到复制积压缓冲区,来实现主从同步。

1)实现方式

复制积压缓冲区是由主服务器维护的,固定长度的先进先出的队列,默认大小是1MB。固定长度的运作方式和可变长度的区别是,当新push一个元素时,如果长度超过固定长度,则队列的第一个元素会被弹出。

当主服务器进行命令传播时,除了将命令发送给从服务器,还会将命令写入复制积压缓冲区内。

主服务器的复制积压缓冲区内会保存最近一部分的写命令,并且缓冲区会为队列中的每个字节记录相应的复制偏移量。

当从服务器断线重连时,如果偏移量还在这个缓冲区内,则会使用部分重同步;如果偏移量已经不再这个缓冲区,说明从服务器断线太久,则会采用完全重同步。

2)复制积压缓冲区大小设置

如果主服务器要大量写操作,或者主从重连速度慢,则1MB不太适合。如果每次断线重连后都要完全重同步,则该缓冲区就没有意义了。

大小可以用公式进行估算:second*write_size_per_second。

其中,second是从服务器断线后重连上的平均时间,write_size_per_second是主服务器平均每秒的写数据量。

具体大小,可以设置为上述估算值的两倍。修改大小值是通过修改配置文件中的属性进行的,属性名称repl-backlog-size。

4、服务器运行ID

实现部分重同步还需要用到服务器运行ID。每个redis服务器,无论主从,都有自己的运行ID,ID是在服务器启动的时候随机生成,由40个随机的16进制字符组成。

从服务器会保存主服务器的运行ID,当断线重连时,会发送之前的主服务器运行ID。如果这个ID和当前的主服务器一致,则可以部分重同步;如果不一致,说明之前就不是连的这个主服务器,则要完全重同步。

——written by linhxx 2017.09.12

原文发布于微信公众号 - 决胜机器学习(phpthinker)

原文发表时间:2017-09-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏温安适的blog

基于zookeeper+leveldb的activemq集群

3614
来自专栏圣杰的专栏

ABP入门系列(9)——权限管理

源码路径:Github-LearningMpaAbp 完成了简单的增删改查和分页功能,是不是觉得少了点什么? 是的,少了权限管理。既然涉及到了权限,那我们...

3585
来自专栏Python爬虫与算法进阶

强大的异步爬虫 with aiohttp

看到现在网络上大多讲的都是requests、scrapy,却没有说到爬虫中的神器:aiohttp

752
来自专栏乐百川的学习频道

scrapy 进阶使用

前段时间我写了一篇《scrapy快速入门》,简单介绍了一点scrapy的知识。最近我的搬瓦工让墙了,而且我又学了一点mongodb的知识,所以这次就来介绍一些s...

2777
来自专栏FreeBuf

一次安全测试引发的对Django框架文件上传安全机制的初步分析

我司的堡垒机是基于jumpserver 0.3版本进行二次开发,进行了大量的重构和新功能的添加,基本满足了公司安全运维的需求。在对文件上传接口进行安全审计的时候...

532
来自专栏Eternally运维

Nginx配置文件的理解

1073
来自专栏虚拟化云计算

libvirt-内存分配和内存热插拔

在qemu命令中使用参数-m来设置的。表示虚拟机在启动阶段使用的内存。包括在启动或稍后热插拔时指定的可能的附加内存。

3699
来自专栏北京马哥教育

运维人必收藏的最全Linux服务器程序规范

除了网络通信外,服务器程序还必须考虑许多其他细节问题,零碎,但基本上都是模板式的。

1030
来自专栏Aloys的开发之路

Java杂项

JDK JDK(Java Development Kit)是一个写Java程序所需的开发环境。它由一个处于操作系统层之上的运行环境,还有开发者编译、调试和运行J...

2097
来自专栏猿天地

Elastic-Job-Spring-Boot-Starter简化你的任务配置

介绍 Elastic-Job Spring Boot 自动集成,只需要一个注解即可发布Job。 GitHub地址:https://github.com/yinj...

5348

扫描关注云+社区