CentOS下(rsync+inotify)监听式实现服务器间的备份实时同步

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011415782/article/details/78720072

背景

  • 前几天,整理了一篇 (rsync+crontab) 实现文件同步的文章,不过从网上得知,网上很多言论认为在优势上不如监听实现的效果,所以在此进行新的配置尝试,同时建议可以对比两篇文章进行参考,但是要注意服务器扮演角色的不同以及配置方式的差异,切勿混淆
  • rsync 可以实现服务器间的文件同步,有两种方式 一种是触发式(crontab),另一种是监听式(inotify) 但是通过 crontab 守护进程方式进行触发,同步的数据和实际数据会有差异,而 inotify 可以监控文件系统的各种变化,当文件有任何变动时,就触发 rsync 同步,这样刚好解决了同步数据的实时性问题
  • 测试环境: CentOS 6.5CentOS 7
  • 功能亮点: 监听、实时同步、相比上篇文章实现的方式要简单并且配置成功率高!
  • 【声明】:本文参考了网上很多前辈的言论,并通过自己的实践进行了整理,希望能帮助更多的程序猿探索之路上的顺利 …

一、概念介绍

  • inotify 是一种强大的、细粒度的、异步的文件系统事件控制机制
  • linux 内核从 2.6.13 起,加入了 inotify 支持,通过 inotify 可以监控文件系统中添加、删除、修改、移动等各种事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而 inotify-tools 正是实施监控的软件

二、功能分析

(1). 角色分配表

服务器名称

IP-addr

status

工具安装

系统版本

操作目录

数据服务器

192.168.1.161

client

rsync、inotify-tools

centos6.5

/server/ftpInotify/

备份服务器

192.168.1.150

server

rsync

centos7

/server/ftpInotify/

  • 喜欢这个解释: 谁主动谁是客户端,谁被动谁是服务端 如果我们需要实时备份数据,让 inotify 监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,则该源服务器为主动,那它就是客户端,备份服务器为被动方,那它就是服务端

(2). 简要说明

  • 配置此功能,首先明确的是,在角色上,数据服务端和备份服务器可以(1:N)

  1. 在操作上,最简单的配置比例为【1:1】 例如,本次的实际操作中,我配置了一个数据服务器(IP:192.168.1.161),其中的一个备份服务器(IP:192.168.1.150),后期可以根据自己的需求添加 备份服务器 数目,比如说,后期个人测试时又添加了第一个备份服务器(IP:192.168.1.160)
  2. 功能实现的结果为: 当数据服务器中的备份目录中数据发生变化时,对应的,备份服务器通过监控也会及时的进行同步更新,多台备份服务器

三、配置操作

  • 在此提醒一下,本人在测试过程中,使用的是 root 账户,当然,如果使用的是其他账户,只要保证有足够的权限也可,谢谢 …

(1). 备份服务器(server)配置

(服务器IP):192.168.1.150

①. 安装 rsync(备份服务器只安装 rsync,需要启动)

  • 如今的 linux 系统,很可能已经默认安装了 rsync,可以运行命令 rpm -aq rsync 或者 rsync -v 进行查看,如下信息说明已经安装了 rsync
  • 如果没有默认安装,建议运行如下命令
yum install rsync
  • 或者使用编译安装
[root@bogon rsyncd]# wget  http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz  
[root@bogon rsyncd]# tar zxvf rsync-3.0.9.tar.gz  
[root@bogon rsyncd]# cd rsync-3.0.9  
[root@bogon rsyncd]# ./configure --prefix=/etc/rsyncd/rsync  #可自定义
[root@bogon rsyncd]# make  
[root@bogon rsyncd]# make install  

②. 建立 rsync 配置文件

  • 以本人为例,因为系统 centos6.5centos7 已默认安装了 rsync ,为了便于操作,本人创建了目录/etc/rsyncd/,然后添加了一个软链接,并将信息写入该目录下的 rsync.conf 文件
mkdir /etc/rsyncd
touch /etc/rsyncd/rsyncd.conf #创建 rsyncd.conf,这是 rsync 服务器的配置文件
ln -s /etc/rsyncd/rsyncd.conf /etc/rsyncd.conf #创建软链接
  • 在自己安装的 rsync 目录下,创建 rsyncd.conf 文件 ,并写入如下的信息
# /etc/rsyncd: configuration file for rsync daemon mode
# See rsyncd.conf man page for more options.
# configuration example:

# uid = nobody
# gid = nobody
# use chroot = yes
# max connections = 4
# pid file = /var/run/rsyncd.pid
# exclude = lost+found/
# transfer logging = yes
# timeout = 900
# ignore nonreadable = yes
# dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2

# [ftp]
#        path = /home/ftp
#        comment = ftp export area


uid = root
gid = root
use chroot = no
max connections = 10
strict modes = yes
hosts allow = 192.168.1.161               #可以空格,允许多个
port = 873                  #默认开启端口
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log



[inotify]                    
#认证模块名

path = /server/ftpInotify/   
#监控目录

comment = Hello My Dear!      
#此为注释信息,便于识别,可自定义

ignore errors
read only = no
write only = no

hosts allow = 192.168.1.161   
#此为数据服务器(client)IP地址

hosts deny = *
list = false
uid = root
gid = root
auth users = root             
#赋予权限的用户,此处我用的是root用户

secrets file = /etc/rsyncd/rsync.password 
#密码文件

exclude = /rs1/
#指定不同步的目录,以空格分割 最前面的斜杠表示当前的‘path = /server/ftpInotify/’根目录,如果不加则表示所有的同名子目录

【注】: 1. 注释部分解释主要的配置信息 2. 尤其要注意的是,注释部分的信息设置多数是换行操作,经测试发现,部分配置信息如果在同一行,就会报 “1503”或其他错误,比如 secrets file这行,同时此处对应的目录在下一步要用到.

③. 建立用户与密码认证文件

  • 以本人操作系统为例,使用 root 用户进行操作,自定义密码为 root123 (此密码并非登录密码,只是一个 rsyncclient 服务器进行交互的凭证,可自定义)
  • 创建 rsync.password 文件,并写入【用户名:密码】,记住此处的密码!
[root@bogon rsyncd]# echo "root:root123"> /etc/rsyncd/rsync.password 
  • 需要给密码文件 600 权限
[root@bogon rsyncd]# chmod 600 /etc/rsyncd/rsync.password 

【注】: 1. 在 client 端建立的密码文件,只有密码,没有用户名 2. 而在备份服务端 server 里建立的密码文件,用户名与密码都有。

④. 启动 rsync

  • 以守护进程方式启动 rsync 服务器
rsync --daemon 

【注】: 修改 rsyncd.conf 配置文件后,记得需要重启 rsync 服务

 killall rsync
 rsync --daemon 
 lsof -i :873 #可查看是否已启动

(2). 数据服务器(client)配置

(服务器IP):192.168.1.161

①. 安装 rsync(只需安装,无需启动)

  • 请参考上文,此处不再赘述

②. 建立访问服务端的密码认证文件

  • 为了便于操作,本人创建了目录/etc/rsyncd/
echo "root123" >/etc/rsyncd/rsync.password   
#其中 `root123` 可以自己设置密码,rsync.password 名字也可以自己设置
  • 设置权限为只读
[root@bogon rsyncd]# chmod 600 rsync.password 

③. 安装 inotify-tools

  • 查看当前系统是否支持 inotify
[root@bogon etc]# ll /proc/sys/fs/inotify/
总用量 0
-rw-r--r--. 1 root root 0 12月  5 20:12 max_queued_events
-rw-r--r--. 1 root root 0 12月  5 20:12 max_user_instances
-rw-r--r--. 1 root root 0 12月  5 20:12 max_user_watches
  • 依次执行如下命令
[root@bogon rsyncd]# wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz  
[root@bogon rsyncd]# tar zxvf inotify-tools-3.14.tar.gz  
[root@bogon rsyncd]# cd inotify-tools-3.14  
[root@bogon inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify  
[root@bogon inotify-tools-3.14]# make  
[root@bogon inotify-tools-3.14]# make install 
  • 如果运行 wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz 命令无法获取源包(至少本人获取失败),可以下载源包,再移动到自己的操作目录
  • 【inotify-tools-3.14.tar.gz 】 链接:https://pan.baidu.com/s/1c2OP90 密码:v01s

④. 创建 rsync 复制脚本

  • 此项功能主要是将 client 端的目录 /server/ftpInotify/ 里的内容,如果修改了(无论是添加、修改、删除文件)能够通过 inotify 监控到,并通过 rsync 实时的同步给 server/server/ftpInotify/
  • 以本人操作为例子,创建 inotify.sh 脚本文件,并写入下面的信息 (请根据自己的需求参考注释进行修改,尽量保证该文件不会被删除,可放置于非同步目录中)
#!/bin/bash
host=192.168.1.150    #server的ip(备份服务器)
src=/server/ftpInotify/  #所要监控的备份目录(此处可以自定义,但是要保证存在)
des=inotify   #自定义的模块名,需要与client端定义的一致
password=/etc/rsyncd/rsync.password  #密码文件
user=root    #用户名(一个实际存在的账号)
inotify=/usr/local/inotify    #inotify的安装目录                

${inotify}/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files
do
rsync -avzP --delete  --timeout=100 --password-file=${password} $src $user@$host::$des
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
  • 参考截图
  • 保存文件后,为 .sh 脚本增加 764 权限
[root@bogon server]# chmod 764 inotify.sh 
  • 运行脚本
[root@bogon server]# sh inotify.sh &
[1] 1925

【注】: (如果可以,请将其设置为开机启动项) 本人通过实测发现,网上的好多方法没能设置成功,最后找到一种适合自己的方案,仅做参考:

echo "setsid /server/inotify.sh &" >> /etc/rc.local

(3). 功能测试

当然为了稳当起见,还是要重启测试下,自启动脚本是否正常运行,保证万无一失

  • 首先,保证了服务器对应的位置,都已经建立了操作目录
  • 保证相应的服务都已经启动
  • 例如,我在 client (192.168.1.161) 的/server/ftpInotify目录下,更改了RE文件,并进行了保存,此时,其所在的终端会自动打印如下信息:
  • 此时,查看server (192.168.1.150) 对应的 /server/ftpInotify目录,会发现,文件已经进行了更新

【注】: 1. 以上操作也可以在一台服务器实现,同步目录到不同的目录 2. 仿照相同的操作,可以扩展多个 server 端,例如我又根据上述操作,添加了一台备份服务器(IP:192.168.1.160),同时在数据服务器(IP:192.168.1.161)中还需添加一个 inotify2.sh 脚本文件,并同样的赋予764 权限 然后 运行脚本

四、附录

(1). 参考文章

(2). 自测:rsync 指定不需同步的目录操作

  • 以我的备份目录为例,不同步其中的 rs1 目录,但是 rs2 目录下的所有文件不能受影响,包括同名的 rs1 目录也是需要同步的:
- server
    -ftpInotify
        -rs1
            RE.log
        -rs2
            -rs1
                RE.txt
            re.log

①. 第一种方式:配置 rsyncd.conf 文件

  • 此时可以配置“备份服务器”中的 rsyncd.conf 文件,其中的 “exclude” 参数可用于表示不需要同步的指定目录,注我的备注,如果写成 “rs1/”,那么结果就是所有的 rs1 目录都不同步,文件可以同样类比结论 …
exclude = /rs1/
#指定不同步的目录,以空格分割 最前面的斜杠表示当前的‘path = /server/ftpInotify/’根目录,如果不加则表示所有的同名子目录
  • 虽然实现了这个功能,却发现“数据服务器”中报出如下的信息,网上多数说文件权限问题,但总觉得不受影响 …
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1039) [sender=3.0.6]
sending incremental file list
ERROR: daemon refused to receive directory "rs1"
*** Skipping any contents from this failed directory ***

②. 第二种方式:配置 .sh 脚本

利用参数 --exclude 进行排除,个人测试发现,如果需要排除的是一个目录,应该注意添加后面的/,如果有多个可以依次配置,我网站的实际配置举例如下:

 rsync -avzP --delete --exclude=Public/ --exclude=Application/Runtime/  --timeout=100         --password-file=${password} $src $user@$host::$des

(3). 补充

  • 对于文中涉及到的“客户端”、“服务端”的概念,在理解上或许有些不好理解,对于有所纠结的可以选择忽略这两个概念,可以直接强化“数据服务器”和“备份服务器”这两个概念
  • 可对比文章 CentOS下(rsync+crontab)实现服务端和客户端文件备份同步 进行比较学习
  • 执行命令过程中,有类似“文件已存在”的提示,可以先删掉文件,再按步骤进行安装 .

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏lulianqi

PipeHttp 测试工具使用

https://github.com/lulianqi/PipeHttp/ (工程地址)

33620
来自专栏赵俊的Java专栏

Hexo 扩展 --- 优雅的备份 Hexo 博客

63730
来自专栏Ryan Miao

redis学习之三配置文件redis.conf 的含义

摘自http://www.runoob.com/redis/redis-conf.html 安装redis之后的第一件事,我就开始配置密码,结果总是不生效,而我...

27650
来自专栏北京马哥教育

软件测试工程师必知必会Linux命令

Linux系统有着众多的优点,比如开源、非商业版本免费、多任务多用户操作,因此Linux系统在非桌面领域占有压倒性的市场份额。对于互联网技术工作者来说,掌握常用...

437130
来自专栏云计算教程系列

三种方法在CVM安装Node.js

Node.js是一个用于通用编程的JavaScript平台,允许用户快速构建网络应用程序。通过在前端和后端利用JavaScript,Node.js使开发更加一致...

21950
来自专栏测试驿栈

JProfiler简明使用教程

 JProfile是一款性能瓶颈分析工具,监控粒度可以细化到某一个类包,堪称神器!我安装了一下9.11的版本,并简单说说使用方法。

1.9K30
来自专栏性能与架构

快速模拟 Rest API

在前后端开发过程中,通常会通过 web api 进行沟通,Rest 风格和 JSON结构是常用的,例如前端要获取文章列表,需要通过 GET /post 来取得数...

31640
来自专栏前端知识分享

第106天:Ajax中同步请求和异步请求

用户填写所有信息后,提交给服务器,等待服务器的回应(检验数据),是一次性的。信息错误又要重新填写!

14520
来自专栏后端技术探索

Nginx服务器架构简析

模块化结构的思想是一个很久的概念,但也正是成熟的思想造就了Nginx的巨大优越性。

11630
来自专栏云计算教程系列

如何在Ubuntu 16.04中安装Linux,Nginx,MySQL,PHP(LNMP堆栈)

LNMP软件堆栈是一组可用于为动态网页和Web应用程序提供服务的软件。它是一个描述带有Nginx Web服务器的Linux操作系统的首字母缩写词。其后端数据存储...

17810

扫码关注云+社区

领取腾讯云代金券