《Redis设计与实现》读书笔记(二十四) ——Redis主从复制原理

《Redis设计与实现》读书笔记(二十四)

——Redis主从复制原理

(原创内容,转载请注明来源,谢谢)

一、概述

redis中,可以用slaveof命令,或者在配置中设置slaveof选项,让一个服务器去复制另一个服务器。去复制的服务器称为从服务器(slave),被复制的称为主服务器(master)。

主服务器的增删改,在从服务器中都会一并有改动。

redis2.8之前(不含2.8)的版本(下称旧版),和之后(含2.8)的版本(下称新版),对于复制的做法有所不同,将分别分析。

二、旧版复制原理

复制分为同步和命令传播两个部分。同步操作将从服务器的数据库状态更新至主服务器当前所处的数据库状态;命令传播是用于主服务器状态修改,导致主从不一致时,让主从重新一致的做法。

1、同步

同步发送在第一次生成主从服务器,或者从服务器断线后重连的情况。

当客户端发送slaveof命令,就会进行一次同步。同步命令是通过向主服务器发送sync命令来实现的,步骤如下:

1)从服务器向主服务器发送sync命令。

2)主服务器收到sync命令后,会执行bgsave命令,生成rdb文件,并且开启写缓冲区,将bgsave期间的数据暂存。

3)主服务器将rdb文件发送给从服务器,从服务器导入文件。

4)主服务器将缓冲区的写命令发送给从服务器,从服务器进行更新。

2、命令传播

当主从同步完毕后,后续主服务器的状态改变,就不是再用rdb的方式,否则效率太低。

因此,为了保证主从一直,主服务器会把每个影响主服务器状态的命令,都发送给从服务器,从服务器执行命令后就和主服务器一致。

3、存在问题

对于断线重连,还需要主服务器bgsave并且自身导入rdb文件,效率比较低。因为主从服务器数据不一致的地方只有从服务器断线重连的这段时间的命令,而不是全部的命令。

sync操作非常耗费资源:

1)主服务器bgsave命令会耗费主服务器大量I/O、内存、CPU。

2)主服务器发送rdb给从服务器,会占用大量网络资源。

3)从服务器接收rdb到完全载入完毕之前,无法对外提供服务。

三、新版复制原理

1、概述

从2.8版本的redis开始,采用psync命令进行主从复制,替代sync,该命令具有完整重同步和部分重同步两种模式。

1)完整重同步

完整重同步仅用于初次复制,步骤和sync一致。

2)部分重同步

部分重同步用于断线重连的情况,主服务器会在从服务器重连后,将断线期间的命令都发送给从服务器,从服务器只需要接收并执行这些命令即可实现同步。

部分重同步有三部分构成:

1)主服务器的复制偏移量和从服务器的复制偏移量。

2)主服务器的复制积压缓冲区。

3)服务器的运行ID。

2、复制偏移量

主从服务器会分别维护一个复制偏移量,主服务器每次向从服务器传播N字节的数据,偏移量就加N,同样从服务器接收N字节也加N。

通过对比这个偏移量,就可以判断是否一致,如果偏移量一样就是一致,否则不一致。

3、复制积压缓冲区

当主从复制偏移量不一致,则判断出主从不一致,此时则需要用到复制积压缓冲区,来实现主从同步。

1)实现方式

复制积压缓冲区是由主服务器维护的,固定长度的先进先出的队列,默认大小是1MB。固定长度的运作方式和可变长度的区别是,当新push一个元素时,如果长度超过固定长度,则队列的第一个元素会被弹出。

当主服务器进行命令传播时,除了将命令发送给从服务器,还会将命令写入复制积压缓冲区内。

主服务器的复制积压缓冲区内会保存最近一部分的写命令,并且缓冲区会为队列中的每个字节记录相应的复制偏移量。

当从服务器断线重连时,如果偏移量还在这个缓冲区内,则会使用部分重同步;如果偏移量已经不再这个缓冲区,说明从服务器断线太久,则会采用完全重同步。

2)复制积压缓冲区大小设置

如果主服务器要大量写操作,或者主从重连速度慢,则1MB不太适合。如果每次断线重连后都要完全重同步,则该缓冲区就没有意义了。

大小可以用公式进行估算:second*write_size_per_second。

其中,second是从服务器断线后重连上的平均时间,write_size_per_second是主服务器平均每秒的写数据量。

具体大小,可以设置为上述估算值的两倍。修改大小值是通过修改配置文件中的属性进行的,属性名称repl-backlog-size。

4、服务器运行ID

实现部分重同步还需要用到服务器运行ID。每个redis服务器,无论主从,都有自己的运行ID,ID是在服务器启动的时候随机生成,由40个随机的16进制字符组成。

从服务器会保存主服务器的运行ID,当断线重连时,会发送之前的主服务器运行ID。如果这个ID和当前的主服务器一致,则可以部分重同步;如果不一致,说明之前就不是连的这个主服务器,则要完全重同步。

——written by linhxx 2017.09.12

原文发布于微信公众号 - 决胜机器学习(phpthinker)

原文发表时间:2017-09-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏散尽浮华

手动编写的几个简单的puppet管理配置

puppet在自动化配置管理方面有很强大的优势,这里就不做过多介绍了,下面记录下几个简单的puppet管理配置: 一、首先在服务端和客户端安装puppet和fa...

2908
来自专栏Grace development

PHP程序员必须知道的两种日志

作为一名程序员,比码代码还重要那么一点点的东西就是日志的分析和查询。下面列出常见日志及设置方法。

3193
来自专栏农夫安全

sqlmap基础使用详解(以sqli_labs为例)

一、基于错误的GET型注入 如果确定该url下存在注入,直接把url扔到sqlmap 1 先探测当前数据库版本 语句: sqlmap -u http://192...

4158
来自专栏云计算教程系列

开源资产管理系统Snipe-IT安装教程

在IT行业中,需要完整的生命周期跟踪资产的资产管理,包括采购,维护,存储和处置。Snipe-IT是专为IT资产管理而设计的免费开源应用程序,提供基于Web的界面...

9284
来自专栏深度学习之tensorflow实战篇

MySql Host is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts' 解决方法

利用:from sqlalchemy import create_engine 链接数据库的过程中报错(数据量大时) sqlalchemy.exc.Op...

2804
来自专栏沈唁志

使用PHP解析读取网站RSS(Feed)内容

1752
来自专栏玄魂工作室

Hacker基础之Linux篇:基础Linux命令七

今天我们来了解一下几个Linux小命令,因为比较短的,而且不常用,所以会有三个(我就是这么任性) 1. paste paste命令用于合并文件的列 paste指...

3247
来自专栏云计算教程系列

使用Capistrano,Nginx和Puma在Ubuntu 14.04上部署Rails应用程序

Rails是一个用Ruby编写的开源Web应用程序框架。Nginx是一种高性能HTTP服务器,反向代理和负载均衡器,以其并发性,稳定性,可伸缩性和低内存消耗而著...

1484
来自专栏C/C++基础

DOS常用命令大全

2010-04-17 22:27:19|  分类: 电脑技术 |  标签:dos命令大全 |字号大中小 订阅

1751
来自专栏运维

Nginx1.10.2稳定版本tcp四层负载安装配置过程略解

nginx1.10.2(2016.10.18)是最新稳定版,适合线上运行,最新开发版为1.11.8(2016.12.27)

931

扫码关注云+社区