前往小程序，Get更优阅读体验！
立即前往
文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
首页
学习
活动
专区
工具
TVP最新优惠活动
返回腾讯云官网
社区首页 >专栏 >Rsync服务简介部署使用及原理详解

Rsync服务简介部署使用及原理详解

作者头像
iginkgo18
修改于 2021-05-08 22:53:15
1.4K0
修改于 2021-05-08 22:53:15
举报
文章被收录于专栏：devops_k8sdevops_k8s
Rsync简介
什么是rsync?

Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。Rstync软件适用于unix/linux/windows等多种操作系统平台。 Rsync英文全称为Remotesynchronization，即远程同步。从软件的名称就可以看出来，Rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似ssh带的scp命令，但又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，Rsync还可以在本地主机的不通分区或目录之间全量及增量的复制数据，这又类似cp命令，但同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。此外，利用Rsync还可以实现删除文件和目录功能，这又相当于rm命令。 一个rsync相当于scp，cp，rm，并且优于他们每一个命令。 在同步备份数据时，默认情况下，Rsync通过其独特的”quick check”算法，它仅同步大小或者最后修改时间发生变化的文件或目录，当然也可以根据权限，属主等属性的变化同步，但需要制定相应的参数，甚至可以实现只同步一个文件里有变化的内容部分，所以，可以实现快速的同步备份数据。

Rsync2.x和rsync3.x差异

代码语言：javascript
复制
# CentOS5,rsync2.x对比方法，把所有的文件对比一遍，然后进行同步。
# CentOS6,rsync3.x对比方法，一边对比差异，一边对差异的部分进行同步。
rsync特性
代码语言：javascript
复制
# 支持拷贝特殊文件如链接文件，设备等。
# 可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
# 可以做到保持源文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变-p。
# 可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高。
# 可以使用rcp,rsh,ssh等方式来配合传输文件（rsync本身对数据不加密）。
# 可以通过sockert（进程方式）传输文件和数据（服务端和客户端）。
# 支持匿名或认证（无需系统用户）的进程模式传输，可实现方便安全的进行数据备份及镜像。

# 注意：需要注意拷贝的时候源目录加“/”和不加“/”的区别（加“/”表示只拷贝该目录之下的文件；不加“/”表示连该目录一起拷贝）
rsync应用场景

定时备份

代码语言：javascript
复制
# 可以通过crond + rsync 来实现

实时备份

代码语言：javascript
复制
# 可以通过inotify（sersync）+ rsync来实现
inotify使用

作为客户端命令，常用参数如下

inotify命令参数
代码语言：javascript
复制
# -avz      --多个参数的集合
# -v, --verbose 详细模式输出，传输时的进度等信息
# -z， --compress 传输时进行压缩以提高传输效率,--compress-level=NUM可按级别压缩。
# -a，--archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rtopgDl
# -r，--recursive 对子目录以递归模式，即目录下所有目录有同样传输
# -t，--times，保持文件时间信息
# -o，--owner 保持文件属主信息
# -p，--perms 保持文件权限
# -g，--group 保持文件属组信息
# -P，--progress 显示同步的过程及传世时的进度等信息（大写的P）
# -D，devices 保持设备文件信息
# -l，--links 保持软链接   
# -e，--rsh=COMMAND 使用的信道协议，指替代rsh的shell程序。例如:ssh
# -exclude=PATTERN指排斥不需要传输的文件模式
# --bwlimit=RATE 限速，默认是以kbit/s为单位
# --delete  --删除（本地没有，远端也没有），让目标目录SRC和源目录数据DST一致，适用于两个目录完全一样
innotify的三种工作模式之本地模式

Rsync的本地模式，即将本地系统的文件或目录从一个目录移动到另外一个目录中，相当于一个系统命令来使用（不常用）。

命令格式

代码语言：javascript
复制
# rsync [OPTION...]SRC... [DEST]

Example

代码语言：javascript
复制
[root@jenkins data]# echo 1234 > test1.txt
[root@jenkins data]# ls
test1.txt
[root@jenkins data]# rsync /data/test1.txt /data/test2.txt
[root@jenkins data]# cat /data/test2.txt
1234
innotify的三种工作模式之shell模式

Rsync的远程shell模式，即将本地系统文件或目录从一台服务器传输向另外一台服务器，类似于scp命令。既可以推送数据到其他服务器，也可以下拉文件到本地。（该模式也不常用）

命令格式

代码语言：javascript
复制
# Pull: rsync[OPTION...] [USER@]HOST:SRC... [DEST]
# Push: rsync[OPTION...] SRC... [USER@]HOST:DEST

Example: 将一个文件传输到另一台服务器

代码语言：javascript
复制
[root@client data]# rsync -avz /data/test1.txt root@39.108.140.0:/root/
root@39.108.140.0's password: 
sending incremental file list
test1.txt

sent 97 bytes  received 35 bytes  37.71 bytes/sec
total size is 5  speedup is 0.04


[root@server ~]# cat test1.txt
1234

Example: 将一台主机的文件下载到本地

代码语言：javascript
复制
[root@client data]# rsync -avz 39.108.140.0:/root/test1.txt /data/test3.txt
root@39.108.140.0's password: 
receiving incremental file list
test1.txt

sent 43 bytes  received 97 bytes  56.00 bytes/sec
total size is 5  speedup is 0.04
[root@client data]# cat test3.txt 
1234

加密传输(隧道传输)

Rsync的传输协议默认是不加密的明文传输，如果有加密传输文件的需求，可以自定义加密管道管道协议。使用参数：-e来指定相应的管道协议。

Example: 跨主机加密传输文件，指定ssh协议

代码语言：javascript
复制
[root@client data]# rsync -avz /etc/hosts -e 'ssh -p 22' root@39.108.140.0:
root@39.108.140.0's password: 
sending incremental file list

sent 43 bytes  received 12 bytes  22.00 bytes/sec
total size is 211  speedup is 3.84

# -e  指定加密协议以及协议端口号

限速传输

Rsync的传输默认是不限速的，传输时可能会占用很大的网络带宽，影响业务正常使用。可以使用参数：-bwlimit来限制传输时的网络带宽

Example: 传输时限速为1M/s

代码语言：javascript
复制
[root@client data]# dd if=/dev/zero of=test bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.00811283 s, 1.3 GB/s

[root@client data]# seq 10 | xargs -i dd if=/dev/zero of={}.dat bs=1024 count=1 

# 不限速
[root@client data]# rsync -avz /data/test -e 'ssh -p 22' root@39.108.140.0:/data
root@39.108.140.0's password: 
sending incremental file list
test

sent 10,293 bytes  received 35 bytes  2,950.86 bytes/sec
total size is 10,485,760  speedup is 1,015.27


# 限速
[root@client data]# rsync -avz /data/test -e 'ssh -p 22' --bwlimit=1 root@39.108.140.0:/data
root@39.108.140.0's password: 
sending incremental file list
test

sent 10,293 bytes  received 35 bytes  826.24 bytes/sec
total size is 10,485,760  speedup is 1,015.27

# bwlimit的参数默认为1K bits/s

文件备份需要注意的事项

代码语言：javascript
复制
# 1. 备份需要考虑带宽限速(rsync,scp,ftp都有限速功能)
# 2. 备份需要选择业务低谷
innotify的三种工作模式之Daemon模式

Daemon，即守护进程。该模式是在一台rsync服务器上安装并运行一个rsync的服务进程，其他的客户端通过rsync命令上传文件到服务器中。该模式是rsync最常用的功能，用来做数据的定时或者实时备份，下面来具体安装和介绍daemon模式。

Daemon模式的安装与配置
环境清单

节点名

IP

软件版本

硬件

网络

说明

server

39.108.140.0

rsync-3.1.2

1C2G

阿里云

测试环境

Client

47.95.119.205

rsync-3.1.2

1C2G

阿里云

测试环境

安装
代码语言：javascript
复制
[root@server data]# yum -y install rsync
[root@server data]# rpm -qa |grep rsync
rsync-3.1.2-10.el7.x86_64
配置服务端

修改/etc/rsyncd.conf

该配置文件时rsync服务器端默认的配置文件，该文件默认不存在，需要自己手动创建！填入内容如下：

代码语言：javascript
复制
cat rsyncd.conf
uid = rsync  # 配置用户，远端命令要使用rsync用户访问共享目录(访问目录的权限)
gid = rsync  # 配置rsync服务程序的用户组
use chroot = no  # 安全相关
max connections = 200  # 设置最大连接数
timeout = 300   # 设置超时时间
pid file = /var/run/rsyncd.pid   # 定义进程文件
lock file = /var/run/rsync.lock  # 定义锁文件
log file = /var/log/rsyncd.log   # 定义日志文件
[backup]        # 配置一个数据存储的模块
path = /data  # 模块备份数据路径
ignore errors
read only = false
list = false
hosts allow = 47.95.119.205,172.25.1.0/24  # 配置登录权限，可以多个IP网段用逗号隔开
#hosts deny = 0.0.0.0/32
auth users = rsync_backup # 配置匿名服务登录用户(访问服务的权限)
secrets file = /etc/rsync.password # 配置匿名用户和密码文件
配置用户
代码语言：javascript
复制
# 创建用户名为rsync的用户，只让其运行程序，不给其登录系统的权限以及家目录
[root@server data]# useradd rsync -s /sbin/nologin -M
[root@server data]# tail -1 /etc/passwd
rsync:x:1001:1001::/home/rsync:/sbin/nologin
配置存储路径

创建目录/data，并将其所属用户和用户组修改为rsync，因为程序需要用rsync用户来访问这个目录，如果rsync没有权限访问该目录，那么客户端也无法上传文件到备份数据目录。命令如下：

代码语言：javascript
复制
[root@server data]# mkdir /data/ -p
[root@server data]# chown rsync:rsync /data/
[root@server data]# ls -ld /data/
drwxr-xr-x 2 rsync rsync 4096 Jul 29 23:12 /data/
配置虚拟用户文件

/etc/rsync.password

rsync有一个重要的特性，就是可以使用一个虚拟的用户（不是实际存在的用户）来访问系统服务。为了使用这个功能，我们需要创建一个虚拟的用户文件，该文件已经在rsyncd.conf配置文件里面的secrets file定义好了，是/etc/rsync.password文件

代码语言：javascript
复制
[root@server data]#  echo "rsync_backup:youmen" > /etc/rsync.password 
[root@server data]# cat /etc/rsync.password
rsync_backup:youmen
[root@server data]# chmod 600 /etc/rsync.password
# 文件创建完成之后，需要修改文件的权限属性为600，否则程序无法正常运行
配置开机自启动
代码语言：javascript
复制
[root@server data]#  echo '/usr/bin/rsync --daemon' >> /etc/rc.local 
[root@server data]# tail -1 /etc/rc.local 
/usr/bin/rsync --daemon
配置客户端

/etc/rsync.password

相对于服务器端来说，客户端的配置很简单，只需要创建一个密码文件就行了。这个密码文件也是默认不存在，需要手动创建。

代码语言：javascript
复制
[root@client data]# echo "youmen" > /etc/rsync.password
[root@client data]# cat /etc/rsync.password
youmen
[root@client data]# chmod 600 /etc/rsync.password
[root@client data]# ls -l /etc/rsync.password
-rw------- 1 root root 7 Jul 29 23:29 /etc/rsync.password
使用rsync
启动并验证服务
代码语言：javascript
复制
[root@server data]# rsync --daemon
[root@server data]# ss -atnlp |grep 873
LISTEN     0      5            *:873                      *:*                   users:(("rsync",pid=25230,fd=3))
LISTEN     0      5           :::873                     :::*                   users:(("rsync",pid=25230,fd=5))
   
# 重启
[root@server data]# pkill rsync
[root@server data]# rsync --daemon
同步数据

命令格式

代码语言：javascript
复制
# 下载: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
# rsync [OPTION...]rsync://[USER@]HOST[:PORT]/SRC... [DEST]

# 上传: rsync [OPTION...] SRC... [USER@]HOST::DEST
# rsync [OPTION...] SRC...rsync://[USER@]HOST[:PORT]/DEST
创建测试数据

客户端

代码语言：javascript
复制
[root@client data]# seq 10 | xargs -i dd if=/dev/zero of={}.dat bs=1024 count=1 
[root@client data]# ls
10.dat  2.dat  4.dat  6.dat  8.dat
1.dat   3.dat  5.dat  7.dat  9.dat

服务端

代码语言：javascript
复制
[root@server data]#  seq 2 | xargs -i dd if=/dev/zero of={}.dat bs=1024 count=1 
1+0 records in
1+0 records out
1024 bytes (1.0 kB) copied, 0.000147976 s, 6.9 MB/s
1+0 records in
1+0 records out
1024 bytes (1.0 kB) copied, 9.5039e-05 s, 10.8 MB/s
[root@server data]# ls
1.dat  2.dat
下载数据测试

Example1: 服务端免密同步文件到客户端

代码语言：javascript
复制
[root@client ~]# rsync -auv --password-file=/etc/rsync.password rsync_backup@39.108.140.0::backup  /data
receiving incremental file list
./
1.dat
2.dat

sent 69 bytes  received 2,240 bytes  1,539.33 bytes/sec
total size is 2,048  speedup is 0.89

Example: 客户端文件同步到服务端

代码语言：javascript
复制
[root@client data]# rsync -avz --delete /data/ rsync_backup@39.108.140.0::backup --password-file=/etc/rsync.password
sent 556 bytes  received 921 bytes  2,954.00 bytes/sec
total size is 10,240  speedup is 6.93
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1178) [sender=3.1.2]
Rsync优缺点
优点
代码语言：javascript
复制
# 1、支持数据增量备份，支持socket（daemon），集中备份（支持推拉，都是以客户端为参照物）；

# 2、远程SHELL通道模式可以加密（SSH）传输，socket（daemon）模式需要加密传输可以使用×××服务或者ipsec服务；
缺点
代码语言：javascript
复制
# 1、大量小文件同步的时候，时间比较长，有的时候，rsync进程可能会停止；
# 2、同步大文件，10G这样的大文件有时也会有问题，中途可能会中断。
# 3、未完整同步前，文件默认是隐藏的，可以通过续传等参数实现传输。

# 注意：
# 1、模式2和模式3不能结合使用
# 2、注意源目录后面加“/”与没有的区别（有“/”表示只同步该目录下的数据；没有表示连整个目录一起同步）
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2020-07-29 ，如有侵权请联系 cloudcommunity@tencent.com 删除
centos

本文分享自 作者个人站点/博客 前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ，欢迎热爱写作的你一起参与！

centos
评论
登录后参与评论
0 条评论
热度
最新
登录 后参与评论
推荐阅读
LV.
文章
0
获赞
0
目录
  • Rsync简介
    • 什么是rsync?
      • rsync特性
        • rsync应用场景
        • inotify使用
          • inotify命令参数
            • innotify的三种工作模式之本地模式
              • innotify的三种工作模式之shell模式
                • innotify的三种工作模式之Daemon模式
                • Daemon模式的安装与配置
                  • 环境清单
                    • 安装
                      • 配置服务端
                        • 配置用户
                          • 配置存储路径
                            • 配置虚拟用户文件
                              • 配置开机自启动
                                • 配置客户端
                                • 使用rsync
                                  • 启动并验证服务
                                    • 同步数据
                                      • 创建测试数据
                                        • 下载数据测试
                                        • Rsync优缺点
                                          • 优点
                                            • 缺点
                                            相关产品与服务
                                            数据保险箱
                                            数据保险箱（Cloud Data Coffer Service，CDCS）为您提供更高安全系数的企业核心数据存储服务。您可以通过自定义过期天数的方法删除数据，避免误删带来的损害，还可以将数据跨地域存储，防止一些不可抗因素导致的数据丢失。数据保险箱支持通过控制台、API 等多样化方式快速简单接入，实现海量数据的存储管理。您可以使用数据保险箱对文件数据进行上传、下载，最终实现数据的安全存储和提取。
                                            产品介绍产品文档
                                            领券

                                            腾讯云开发者

                                            扫码关注腾讯云开发者

                                            扫码关注腾讯云开发者

                                            领取腾讯云代金券

                                            热门产品

                                            热门推荐

                                            更多推荐

                                            Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

                                            深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

                                            腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

                                            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

                                            Copyright © 2013 - 2024 Tencent Cloud.

                                            All Rights Reserved. 腾讯云 版权所有

                                            登录 后参与评论