前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >Linux 服务器集群下同步目录文件 - rsync

Linux 服务器集群下同步目录文件 - rsync

作者头像
Parker
发布于 2020-07-21 06:44:14
发布于 2020-07-21 06:44:14
2.9K00
代码可运行
举报
文章被收录于专栏:在码圈在码圈
运行总次数:0
代码可运行

rsync 地址: https://www.samba.org/ftp/rsync/rsync.html

简介: remote synchronize是一个远程数据同步工具,可通过 LAN/WAN 快速同步多台主机之间的文件。也可以使用 rsync 同步本地硬盘中的不同目录。 rsync 是用于替代 rcp 的一个工具,rsync 使用所谓的 rsync算法 进行数据同步,这种算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。

rsync 基于inotify 开发

一、客户端 - 主动拉取文件(不实时)

1. 安装

两端安装

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
yum install -y rsync

2. 服务端配置

创建密码文件

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
vi /etc/rsync.password
或者
echo "hello:123" > /etc/rsync.password
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 账号:密码

hello:123

修改密码文件权限

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
chmod 600 /etc/rsync.password

修改配置文件

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
vi /etc/rsyncd.conf
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
uid = root
gid = root
use chroot = no
max connections = 200
hosts allow = *
timeout = 600
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
ignore errors
read only = false
list = false
host deny = 0.0.0.0/32
# rsyncd 权限用户
auth users = hello
secrets file = /etc/rsync.password
transfer logging = yes
#Module definitions
    
# 映射路径编号 拉取时需要 编号
[www]
path = /usr/local/openresty/nginx/html/

创建监控目录

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mkdir -p /data/www

启动服务

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
rsync --daemon

3. 客户端配置

创建密码文件(客户端只需要密码)

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
vi /etc/rsync.password
或者
echo "123" > /etc/rsync.password

修改密码文件权限

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
chmod 600 /etc/rsync.password

客户端同步数据

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# hello 为服务端用户名
# 192.0.0.110 为服务端地址
# www 为服务端 文件路径编号

rsync -zvaP --password-file=/etc/rsync.password hello@192.0.0.110::www /usr/local/openresty/nginx/html/

二、主服务器 - 主动推送至客户端(实时同步)

实时同步

rsync + inotify-tools 或 rsync+sersync

1. 安装

两端安装

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
yum install -y rsync

2. 客户端配置

创建密码文件

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
vi /etc/rsync.password
或者
echo "hello:123" > /etc/rsync.password
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 账号:密码

hello:123

修改密码文件权限

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
chmod 600 /etc/rsync.password

修改配置文件

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
vi /etc/rsyncd.conf
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
uid = root
gid = root
use chroot = no
max connections = 200
hosts allow = *
timeout = 600
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
ignore errors
read only = false
list = false
host deny = 0.0.0.0/32
# rsyncd 权限用户
auth users = hello
secrets file = /etc/rsync.password
transfer logging = yes
#Module definitions
    
# 映射路径编号 拉取时需要 编号
[www]
path = /usr/local/openresty/nginx/html/

启动服务

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
rsync --daemon

3. 服务端配置

sersync 的方式监控目录中变化的数据,通过rsync客户端推送给rsync daemon

在数据源创建密码文件

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
vi /etc/rsync.password 

密码 123

或 echo “123> /etc/rsync.password

chmod 600  /etc/rsync.password

下载sersync 并解压

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz

tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz 

cd GNU-Linux-x86/

mkdir -p  /opt/sersync/{logs,conf,bin}
cp sersync2 /opt/sersync/bin
cp confxml.xml /opt/sersync/conf/
cd /opt/sersync/conf/

编辑sersync 配置文件

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
vi confxml.xml 

xml中:
    <localpath watch="需要监控的目录" >
	<remote ip="IP地址" name=“客户端 路径编号 即 www ” />
   	... 可 remote 多个
    <auth start="true" users="客户端rsync用户名 即 hello" passwordfile="服务端密码文件路径" />

启动sersync

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
/opt/sersync/bin/sersync2 -d -r -o ./confxml.xml 

测试

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
cd /需要监控的目录
touch {1,2,3,4,5,6}
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-07-01 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
pycharm的使用方法_小白远程下载教程
直接通过jetbrain官网进行下载:官网地址 由于pycharm专业版是付费软件,所以需要通过一些手段才能使用,下面给出一个博主的激活成功教程文章(很详细,成功率高)当然我们还是要支持正版! 财力支持的同学可以购买正版!!
全栈程序员站长
2022/09/25
8490
pycharm的使用方法_小白远程下载教程
下载神器IDM_6.37绿色特别版分享 IDM多个版本(电脑、手机、浏览器插件都有)
今天给大家分享一款非常好用的下载工具,有比较了解电脑方面的应该都知道这个工具,小林君也是一直在用,下面介绍下
用户8187027
2023/01/04
8190
Tampermonkey配合IDM实现网盘不限速
https://greasyfork.org/zh-CN/scripts/418182-%E7%99%BE%E5%BA%A6%E7%BD%91%E7%9B%98%E7%AE%80%E6%98%93%E4%B8%8B%E8%BD%BD%E5%8A%A9%E6%89%8B-%E7%9B%B4%E9%93%BE%E4%B8%8B%E8%BD%BD%E5%A4%8D%E6%B4%BB%E7%89%88
去小兔网下载
2023/01/15
1.6K0
blob视频如何下载_blob加密视频下载
前言 网页上有些视频是直接给的视频地址,那么很多浏览器都有插件进行视频下载,比如 猎豹浏览器的:
全栈程序员站长
2022/11/17
2.9K0
blob视频如何下载_blob加密视频下载
地表最强下载软件IDM 6.41下载神器,果然名不虚传!
首先少东家必须承认,迅雷在国内下载软件里霸榜是有理由的,毕竟P2P时代下载资源第一个想到的就是迅雷,迅雷也很好地抓住了这一点需求,对磁力资源相当友善。
用户9208731
2023/04/06
2.3K1
地表最强下载软件IDM 6.41下载神器,果然名不虚传!
m3u8视频文件转换(m3u8文件下载合并的一种方法)
利用UC浏览器App可以很方便地将一些网页视频下载至本地,如果运气好,打开缓存目录就可以看到对应的mp4文件。但大多数时候,你看到的却是m3u8文件加上一个由数字和字母组成的文件夹,如下所示。
全栈程序员站长
2022/07/29
5.8K0
m3u8视频文件转换(m3u8文件下载合并的一种方法)
【亲测有效】Python+IDM多线程加速批量下载ERA5数据
本文介绍了如何通过Python脚本和Internet Download Manager(IDM)软件批量下载ERA5数据。
自学气象人
2023/01/31
6.5K2
【亲测有效】Python+IDM多线程加速批量下载ERA5数据
使用IDM下载百度网盘的文件(亲测有用)[通俗易懂]
有时候下载大的数据文件,一直反复出错1252001,下载速度也慢 官网下载速度过慢,使用替代IDM最新版
全栈程序员站长
2022/07/02
18.1K0
使用IDM下载百度网盘的文件(亲测有用)[通俗易懂]
不限速强大的下载器_软件神器
2020 年,某知名国产下载软件 X 雷发布了全新版本,改动颇大,但仍有部分网友对它感到失望。
全栈程序员站长
2022/10/04
1.9K0
不限速强大的下载器_软件神器
告别Hugging Face模型下载难题:掌握高效下载策略,畅享无缝开发体验
在模型主页的Files and Version中中可以获取文件的下载链接。无需登录直接点击下载,还可以复制下载链接,用其他下载工具下载。
汀丶人工智能
2024/08/08
1.3K0
告别Hugging Face模型下载难题:掌握高效下载策略,畅享无缝开发体验
IDM绿色极速下载,谁用谁知道!!idm多个版本(电脑、手机、浏览器插件都有)
使用教程SHIYONGJIAOCHENG(idm多个版本(电脑、手机、浏览器插件都有) 下载地址在文末 )
用户8187027
2023/01/04
6180
ts切片文件的合并
Adobe的FLASH格式(*.flv)逐渐替换为H5格式的(*.mp4),然后由于监管趋严,有些课程找不到了。比如我想下一期再看的《加密与解密》的课程就找不到了!
全栈程序员站长
2022/07/21
4.6K0
ts切片文件的合并
idm下载器如何使用 idm下载器使用技巧(电脑版、手机版、浏览器插件)
idm下载器——windows系统的下载神器,一方面是因为它具有多线程下载模式,可以大幅提高资源下载速度,另一方面,则是因为idm能安装插件、嗅探网页资源并下载,比如一些网页视频、音频等等,具体idm下载如何使用?下面来给大家演示几个idm下载器的使用技巧。
用户8187027
2023/01/03
11.3K0
盘点4大下载神器,教你分分钟搞定文件下载
平时我们在访问一些国外网站的时候难免会出现访问延迟甚至是下载到一半就无法下载的尴尬,比如我用360浏览器下载docker,如图:
前端皮皮
2021/03/25
1.5K0
idm下载速度慢解决办法 idm批量导入下载使用方法 idm下载速度只有几百kb
IDM (Internet Download Manager)是一款兼容性大,支持多种语言的下载管理软件,它可以自动检测并下载网页上的内容,这正是这一优点,使得它受到了广大用户的喜爱。在日常使用互联网的过程中,快速下载文件对我们来说非常重要。但是在下载的过程中,我们会遇到IDM下载慢的问题,带着这个疑问,我们开始今天的学习。
逐梦岛
2024/07/19
1.3K0
idm下载速度慢解决办法 idm批量导入下载使用方法 idm下载速度只有几百kb
linux局域网传输文件,局域网传输文件详解[通俗易懂]
局域网传输文件详解(转) 相信很多朋友都有过这样的经历,在办公室需要通过局域网传输文件。如果顺利自然不必说了,但有时难免也会遇到“不测”,尤其是直接移动文件,万一失败损失惨重,虽然几率不大但毕竟存在。我们该如何做呢?大家知道,本身的复制功能是不能实现断点续传的,也就是说如果在局域网中复制文件一旦失败,原先复制的文件就要重新复制,这种情况相信大家也曾有过体会,难道在局域网中复制文件还不如在互联网上下载文件那么可靠吗?这不,我们可以通过第三方软件来实现。用FTP服务器和FTP客户端工具实现提到架设FTP服务器,可能大家最先想到的就非“Serv-u”莫属了,Serv-U的功能强大,我们选择它来架设FTP服务器是最适合不过了。当然如果你的系统是2000或XP,你就可以不用这些软件,利用系统集成的IIS就能实现,具体操作不是本文所说的,有兴趣的读者可以自己研究一下。现在首先用Serv-U建立一个FTP服务器。1.启动Serv-U建立一个匿名用户
全栈程序员站长
2022/08/26
5.3K0
2020 年 4 月使用 Aria2 加速下载百度网盘文件
如果更换应用id还不行,那就试试今天介绍的 Aria2 吧,下载速度也能到2MB/s。
苏生不惑
2020/04/16
13.4K0
2020 年 4 月使用 Aria2 加速下载百度网盘文件
IDM下载器软件6.41最新中文版
IDM下载器软件是一款非常好用的下载工具,可以帮助用户更加方便快捷地下载各种文件。广大用户对它的评价也非常好,特别是它的下载速度和稳定性受到了大家的高度评价。IDM下载器一点不比迅雷差,非常好用。Internet Download Manager (简称IDM) 是 Windows平台老牌而功能强大的下载工具,软件提供了下载队列、站点抓取和映射服务器等功能的同时,支持多款浏览器,对于经常有下载需求的用户来说,是个不可多得的选择。
用户7442547
2023/03/01
8200
最强下载神器idm下载器(电脑版、手机版、浏览器插件)
看过我公众号文章的小伙伴都知道,我一直给大家安利谷歌浏览器,毕竟用上了插件和脚本以后,真香,大大地提高了我们用电脑的效率
用户7442032
2023/01/03
7K0
linux终端怎么下载软件_linux查看文件类型
今天小编要跟大家分享的文章是关于Linux终端下载文件的方法有哪些?如果您坚持使用Linux终端,例如在服务器上,该如何从终端下载文件?本文中你将学习两种在Linux中使用命令行下载文件的方法。我在这里使用的是Ubuntu,但除了安装之外,其余的命令同样适用于所有其他Linux发行版。
全栈程序员站长
2022/09/23
19.5K0
linux终端怎么下载软件_linux查看文件类型
推荐阅读
相关推荐
pycharm的使用方法_小白远程下载教程
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文