前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【玩转服务器】CentOS通过rsync+inotify实现文件实时同步

【玩转服务器】CentOS通过rsync+inotify实现文件实时同步

原创
作者头像
参谋带个长
修改2023-11-15 11:51:06
8302
修改2023-11-15 11:51:06
举报

rsync介绍

rsync是Liunx下的远程数据同步工具,可快速同步多台主机间的文件和目录,并可实现增量同步以减少数据的传输。

rsync有两种常用的认证方式,一种是rsync-daemon方式,另外一种是ssh方式。具体配置方法可参考

【玩转服务器】CentOS通过rsync实现文件同步(SSH方式)

【玩转服务器】CentOS通过rsync实现文件同步(daemon方式)

但rsync无法做到实时同步,即便使用免交互式进行同步,也只能人工手动操作或借助于计划任务的方式进行,存在时间差。并且因为rsync是扫描所有文件后差量传递,当文件数量过多时,效率也比较低下。此时可以使用rsync+inotify组合的方式。

本文主要介绍在CentOS操作系统中以rsync+inotify组合方式实现文件实时同步的步骤。

inotify介绍

inotify是一种强大的、细粒度的、异步的文件系统事件监听机制,可以监听文件系统中添加、删除,修改、移动等各种细微事件,做到对事件的实时响应,高效并且没有轮询造成的系统资源消耗。

inotify可以监听文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决同步数据的实时性问题。

inotify命令介绍

inotify-tools 包含了两个命令:inotifywait 与 inotifywatch。

inotifywait:在被监听的文件或目录上等待特定文件系统事件发生,执行后处于阻塞状态。简单的说就是发生事件就执行。 inotifywatch:用于收集文件系统的统计数据,例如发生了多少次 inotify 事件,某文件被访问了多少次等等。简单的说是用于统计的。

因inotifywait可以做到监听事件,所以实现文件实时同步主要使用inotifywait。

实现目标

远程服务器192.168.1.1,开启 rsyncd 服务,无需配置 inotify

本地服务器192.168.1.2,配置 inotify 服务,配置 rsync 账号密码用于免交互式同步

在本地服务器指定目录文件发生变化时,实时同步至远程服务器。此场景可用于文件的实时备份或主从同步。

具体实践

1、远程服务器配置rsync-daemon方式,本地服务器配置同步账号信息,具体操作参考

【玩转服务器】CentOS通过rsync实现文件同步(daemon方式)

2、在本地服务器安装inotify

代码语言:javascript
复制
yum install epel-release -y
yum install inotify-tools -y

3、本地服务器创建 inotify.sh 脚本文件,用于监听文件变动并进行同步

代码语言:javascript
复制
# 保存路径及文件名可根据实际情况修改
vim /home/inotify.sh

4、输入以下内容,部分内容可根据情况进行调整

代码语言:javascript
复制
# 远程主机ip地址
host=192.168.1.1

# 本地服务器同步目录(不含backup目录本身,即同步backup目录内的文件和子目录)
src=/backup/

# 远程服务器 rsync 服务模块名
des=backup

# rsync服务用户连接认证密码文件路径
password=/etc/rsync.password

# 连接认证用户
user=rsync_backup

# inotifywait 程序路径
inotifywait=/usr/bin/inotifywait

# 监听文件变化进行传输
$inotifywait -mrq -e 'modify,delete,create,attrib' $src |while read files;
do
    rsync -azP --delete $src $user@$host::$des --password-file=${password};

    # 日志,可视情况开启
    # echo "${files} was rsynced!" >> /home/rsync_inotify.log 2>&1;

done

监听事件modify(修改),delete(删除),create(创建),attrib(元数据修改)被触发时进行rsync传输

5、运行脚本进行监听

代码语言:javascript
复制
sh /home/inotify.sh

脚本运行后,当本地服务器/backup目录内发生上述事件后,实时调用 rsync 同步至远程服务器。

6、测试同步功能

本地服务器运行以下命令

代码语言:javascript
复制
# 进入指定目录
cd /backup/

# 建立测试文件夹
mkdir test1

# 建立测试文件
touch 1.txt

远程服务器运行以下测试命令

代码语言:javascript
复制
# 进入指定目录
cd /backup/

# 显示文件列表
ls 

# 显示以下内容,同步完成
# 可能显示 test1 1.txt

inotifywait参数

-m 持续监听指定的文件或目录 -r 递归监听指定目录及其子目录下的文件变化 -q 静默模式,只打印出需要的信息 -e 指定要监听的事件类型,可以是多个事件类型组合,如 create、delete、modify、move

监听事件

inotify 监听的文件系统常用事件包括:

access:访问,读取文件 modify:修改,文件内容被修改 attrib:属性,文件元数据被修改 move:移动,对文件进行移动操作 create:创建,生成新文件 open:打开,对文件进行打开操作 close:关闭,对文件进行关闭操作 delete:删除,文件被删除

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • rsync介绍
  • inotify介绍
  • inotify命令介绍
  • 实现目标
  • 具体实践
    • 1、远程服务器配置rsync-daemon方式,本地服务器配置同步账号信息,具体操作参考
      • 2、在本地服务器安装inotify
        • 3、本地服务器创建 inotify.sh 脚本文件,用于监听文件变动并进行同步
          • 4、输入以下内容,部分内容可根据情况进行调整
            • 5、运行脚本进行监听
              • 6、测试同步功能
              • inotifywait参数
              • 监听事件
              相关产品与服务
              云服务器
              云服务器(Cloud Virtual Machine,CVM)提供安全可靠的弹性计算服务。 您可以实时扩展或缩减计算资源,适应变化的业务需求,并只需按实际使用的资源计费。使用 CVM 可以极大降低您的软硬件采购成本,简化 IT 运维工作。
              领券
              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档