首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

linuxrsync和tar增量备份梳理

前面总结过一篇全量备份/增量备份/差异备份说明,下面介绍下linuxrsync和tar两种增量备份的操作记录: 1)rsync备份 rsync由于本身的特性,在第一次rsync备份后,以后每次都只是传内容有改变的部分...所以,rsync在做镜像方面是很不错的,只传增量,节省带宽、时间。...常规本地rsync备份命令可以是: # rsync -az --delete SRC DST 其中: -z 压缩 -a 简单理解就是保持一致性 --delete 严格保证DST内容与SRC一致,即DST...[root@linux-node3 test]# ls a1.txt a2.txt a3.txt aaa 现在使用rsync进行增量备份 [root@linux-node3 mnt]# rsync...现在进行增量备份rsync在第一次同步后,后面就只同步内容有改变的部分 温馨提示: rsync使用--delete参数,在做增量方式的全备份可以说是最佳选择。

3.6K110

Linux下的rsync远程增量备份详解

一、rsync工具介绍1.rsync工具简介rsynclinux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步,支持本地复制,或者与其他SSH、rsync主机同步。...t, --times 保持文件时间信息-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间-n, --dry-run显示哪些文件将被传输-W, --whole-file 拷贝文件,不进行增量检测...=PATH 指定远程服务器上的rsync命令所在路径信息-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件二、rsync备份方法1.备份要求将control...py-rw-r--r--. 1 root root 0 Apr 30 14:10 file8.py-rw-r--r--. 1 root root 0 Apr 30 14:10 file9.py3.进行远程增量备份...py-rw-r--r--. 1 root root 0 Apr 30 14:10 file8.py-rw-r--r--. 1 root root 0 Apr 30 14:10 file9.py[四、测试增量备份

59740
您找到你想要的搜索结果了吗?
是的
没有找到

rsync备份大量数据_SnapShot能做增量备份

文章目录 一、rsync 简介 二、实验过程 三、rsync 命令 四、编译安装包下载 ---- 一、rsync 简介   sync 是一个常用的 Linux 应用程序,用于文件同步。...> /home/logs/rsync.log 2>&1 定时同步 --- mysql 服务器上定时备份数据库(每天的凌晨两点) #crontab -e 编辑 0 2 * * * root /root...可以使用--suffix选项来指定不同的备份文件前缀 --backup-dir 将备份文件(如~filename)存放在在目录下 -suffix=SUFFIX 定义备份文件前缀 -u, --update...--times 保持文件时间信息 -S, --sparse 对稀疏文件进行特殊处理以节省DST的空间 -n, --dry-run现实哪些文件将被传输 -w, --whole-file 拷贝文件,不进行增量检测...数据库 rsync同步mysql_CentOS之间rsync做文件增量备份)同步 Rsync+inotify搭建实时同步系统 版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。

1K40

FreeBSD系统下rsync + SSH增量备份文件

有两台机器,姑且一台叫服务器,一台叫备份机。要怎么样才能每天或是定期地,把服务器的数据整个复制到备份机呢?这里就要用到 rsync 的强大功能了。...首先我们先定义,服务器的 DN 叫作 server.linuxidc.com,(当然我家没有这台机器= =);备份机的 DN 叫作 backup.linuxidc.com。...存盘之后,chmod +x ,先跑一次试试看(当然我要先在家目录 mkdir );这第一次执行会把服务器(远程) 指定路径的所有档案都复制到备份机(本机),我们在这里先跑一次,接下来要试也比较省时间。...二、免打密码的 SSH 联机 既然是开工作排程给它定时备份,总不能说每次都要人工输入密码吧。...还好 ssh 提供了密钥认证的方式,接下来我要做一对认证密钥,分别放在备料机和伺服机,以便于双方在透过 ssh 做 rsync 备份的时候,可以不必人工输入密码。 1.

69810

备份 Linux 系统神器:rsync

所以备份是我数据长期安全的必要保障。 备份软件选择 有许多软件可以执行备份。大多数 Linux 发行版提供至少一种开源的备份软件。...同时也有许多商业备份软件,但是这些都不符合我的需求,所以我决定使用基础的 Linux 工具来进行备份。...这篇文章的目的只是为了说明 rsync 在我的备份方案中的作用。并不是 rsync 的全部能力或者它的各种适用场景的概览。...新的目录不是以 tar 或 zip 等打包存储,而是普通的目录和文件,常见的 Linux 工具都能轻松访问,而这正是我所需要的。 rsync 的最重要的特性之一是它处理源目录被修改的已有文件的方式。...这就是我的 rsync 备份命令的最终版本。

3.1K20

Linux Rsync 增量同步与快速删除

增量同步 rsync [args] SRC [DEST]情形:同时维护着两份不同的data_center,但以old_data_center为标准。...因为权限的缘故没有开启rsync自动同步,只是每隔一段时间手动同步一下。...SRC和DEST都是采用mount形式,如果每一次都完整地copy,耗时很长,这时候就想到采用增量同步的方法,因为两份data_center同时由不同人维护,所以内容略有不同,data_center同步的时候不光要完全同步...快速删除大量文件 先建一个空目录,随便位置 mkdir /local/empty_dir 用rsync删除目标目录 rsync --delete-before -avH --progress /local...清空时自动保持之前的目录权限,如下: rsync --delete -rlptD /tmp/empty/ /var/spool/postfix/maildrop/ 为什么rsync这么快呢?

2.9K10

Linux命令rsync增量同步目录下的文件

业务场景描述 最近遇到一个问题,需要编写相应的Linux命令,增量同步/var/mysql里的所有文件到另外一个目录/opt/mysql,但是里面相关的日志文件xx.log是不同步的,这个场景,可以使用...rsync来实现 什么是rsync命令?...rsync是英文词语remote sync的缩写,是Linux系统一款比较实用的命令,可以用于文件的增量同步 rsync命令常用参数 rsync有哪些常用参数?...通过查询https://www.linuxcool.com/rsync知道有如下参数,图来自该网站: 当然rsync的用法不止这些,还有其它一些比较常用的命令,详细的可以参考阮一峰老师的博客:...rsync 用法教程 rsync增量同步 针对开头描述的业务场景,可以编写下面的Linux命令实现增量同步 rsync -avz - exclude='*.

2K30

Linux下使用rsync实现文件备份

上一篇文章 Linux下使用ssh密钥实现无交互备份 这篇来说说如何安全的备份,还有一点不同的是上一篇是备份服务器拉取数据,这里要讲的是主服务器如何推送数据实现备份。...一、备份服务器配置rsync文件 vi /etc/rsyncd.conf #工作中指定用户(可以不指定为0) uid = 0 gid = 0 #相当于黑洞.出错定位 use chroot = no #有多少个客户端同时传文件...#日志文件 log file = /var/log/rsyncd.log #模块开始 #模块名称随便起(可以是多个) [backup] #需要备份的目录 path = /backup #表示出现错误忽略错误...rsync.password 二、备份服务器配置虚拟用户的密码文件 [root@slave /]# echo "rsync_backup:123456" >/etc/rsync.password [root...@slave /]# cat /etc/rsync.password rsync_backup:123456 #注:rsync_backup为虚拟用户,123456为这个虚拟用户的密码 [root@

1.3K90

Rsync小规模备份

Rsync上机实战 某公司里有一台web服务器,里面的数据很重要,但是如果硬盘坏了,数据就会丢失,现在领导要求你把数据在其他机器上做一个周期性定时备份。...要求如下: 每天晚上00点整在Web服务器web01上打包备份网站程序目录并通过rsync命令推送到服务器Rsync服务器上备份保留 具体要求: 1) web服务器web01和备份服务器rsync备份目录必须都为.../backup 2) Web服务器站点目录假定位(/var/www/html,/app/logs) 3) Wen服务器本地仅保留7天内的备份 4) 备份服务器上检查本分结果是否正常,并将每天的备份结果发给管理员...5) 备份服务器上每周六的数据都保留,其他备份仅保留180天备份 实际操作: 1, 构建rsync服务端: rsync-3.0.6-9.el6_4.1.x86_64     #安装rsync软件包创建服务端配置文件..."     fi done #查找180天意外备份过来的目录,然后进行删除,并排除日期为星期6的不删除 fileList=`find /backup/ -type f  -mtime +180` for

54220

Linux中使用rsync数据备份工具和实例

对于运维不得不得做的就是备份增量备份与全量备份,通过rsync工具可以快速做到远程备份rsync的应用: 1.备份文件 2.全量备份 3.增量备份。...一、什么是rsync rsync(Remote Sync,远程同步)是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份,保持链接和权限,且采用优化的同步算法,传输前执行压缩,因此非常适用于异地备份...rsync是一款快速增量备份工具,支持: (1)本地复制; (2)与其他SSH同步; (3)与rsync主机同步。...体系的Linux系统上安装rsync sudo apt install rsync 三、使用rsync备份工具 配置好rsync同步源服务器之后,客户端就可以使用rsync工具来执行远程同步了。...在多台Linux之间传输、复制或同步文件和目录。

1.2K10

Rsync数据备份工具

Rsync数据备份工具 1、Rsync基本概述 rsync是一款开源的备份工具,可以在不同主机之间进行同步(windows和Linux之间 Mac和 Linux LinuxLinux),可实现全量备份增量备份...常见的两种备份方式 完全备份 将数据全部备份 增量备份 基于上一次备份,新增部分的数据备份 示例: 假设客户端上有file1 file2 file3文件,服务端上有file1文件,现要将客户端上的数据备份至服务端...完全备份,将客户端所有的数据内容file1、file2、file3全部备份至服务端 (效率低下, 占用空间) 增量备份,将客户端的file2、file3增量备份至服务端 (提高备份效率,节省空间..., 适合异地备份 ) 2、Rsync应用场景 2.1 数据推送(上传) 所有主机推送本地数据至Rsync备份服务器,这样会导致数据同步缓慢(适合少量数据备份) 2.2 数据拉取(下载) rsync备份服务端拉取所有主机上的数据...,这样操作会导致备份服务器压力比较大(适合较少服务器场景) 2.3 大量服务器备份场景 2.4 异地备份实现思路 3、Rsync传输模式 Rsync大致使用三种主要的数据传输方式 本地方式 远程方式

1K10

完全备份、差异备份增量备份的区别

增量备份 (Incremental Backup ) 备份自上一次备份(包含完全备份、差异备份增量备份)之后有变化的数据。...增量备份是指在一次全备份或上一次增量备份后,以后每次的备份只需备份与前一次相比增加和者被修改的文件。...这就意味着,第一次增量备份的对象是进行全备份后所产生的增加和修改的文件;第二次增量备份的对象是进行第一次增量备份后所产生的增加和修改的文件,如此类推。...2、差异备份增量备份的区别 通过上面的概念分析可以知道,差异备份增量备份的区别在于它们备份的参考点不同:前者的参考点是上一次完全备份、差异备份增量备份,后者的参考点是上一次完全备份。...完全备份增量备份 以每周数据备份为例,在星期一进行完全备份,在星期二至星期五进行增量备份。如果在星期五数据被破坏了,则你需要还原星期一正常的备份和从星期二至星期五的所有增量备份

3.1K20

全量备份增量备份差异备份说明

作为一名运维工程师,在日常工作中会时常对各类重要数据进行备份,为了方便管理,运用何种备份方案是至关重要的。 今天在此简单说明下Linux运维中的备份种类:全量备份增量备份、差异备份。...2)增量备份 增量备份是针对于上一次备份(无论是哪种备份):备份上一次备份后(包含全量备份、差异备份增量备份),所有发生变化的文件。...增量备份是指在一次全备份或上一次增量备份后,以后每次的备份只需备份与前一次相比增加和者被修改的文件。...这就意味着,第一次增量备份的对象是进行全备后所产生的增加和修改的文件;第二次增量备份的对象是进行第一次增量备份后所产生的增加和修改的文件,如此类推。...三、比较 1)按备份数据量,从多到少排序: 全量备份->差异备份->增量备份 2)按数据恢复速度,从快到慢排序: 全量备份->差异备份->增量备份 四、不同备份类型组合说明 1)全量备份增量备份结合

4K70

linux rsync同步备份文件带密码验证

C:\cwRsync\bin\rsync -vrtpg --delete --progress 10.0.0.5::51 /cygdrive/D/backup/MYSQL/51 windowslinux...linux主机--客户端应用服务器: 安装rsync 手工创建/etc/rsyncd.conf输入: #如果不加这行strict modes = false,可能会出现@ERROR: auth failed...connections参数的锁文件,默认值 #max connections = 10 # 最大连接数为10 [web] #指定认证的备份模块名为mysql,在client端需要指定 #备份路径...auth users = wangzi #备份以什么用户ID和组ID进行,也可用root #但建议用mysql用户去读,只要设置有足够权限的用户即可,不建议用root. uid = wangzi gid...--备份服务器: 1、安装cwRsync软件 2、创建ai3c.bat文件到C:\cwRsync\bat目录下并输入: C:\cwRsync\bin\rsync -vrtpg --delete --exclude-from

5K30

MySQL实时增量备份

,数据插入和更新操作会被挂起   XtraBackup工具     在线热备份工具     备份过程中不锁表,适合生产环境适用     支持整体备份增量备份     组件一xtrabackup:C程序...--target-dir 备份到目标文件夹 --datadir 备份的原始文件夹(Mysql库的位置) --prepare 准备恢复数据 --increamental-basedir 增量备份时,指定参照的完整备份路径...--incremental-dir 准备恢复目录时,指定增量备份的路径  1)使用XtraBackup执行数据库备份 [root@localhost~]# mkdir -p /backup/mysql...+增量备份” 以/backup/mysql/用来重建MySQL服务器,但这种情况下需提前合并相关增量备份的数据: 先准备完整备份目录,添加--apply-log-only仅应用日志: [root@loclahost...\ --incremental-dir=/backup/inc01 至此,数据库已经包含增量备份

2.6K40

Linux 环境下实战 Rsync 备份工具及配置 rsync+inotify 实时同步

Rsync 是一个开源的快速备份工具,是Linux和UNIX操作系统默认安装的组件之一,可在不同主机间镜像同步整个目录,并支持增量备份文件传输,保持链接和权限,采用优化的同步算法,传输前执行压缩,适用于异地备份...-R rsync.rsync /backup/ 3、使用 Rsync 备份工具 rsync 命令的基本用法 大多数的备份程序要求指定原始位置、目标位置,rsync 命令其实跟 cp 命令相似。...Linux 从 2.6.13 版内核开始提供了 inotify 通知接口,用来监控文件系统的各种变化情况,如文件的存取,删除,移动,修改等。...利用这个机制,可实现文件异动警告,增量备份,针对目录或文件的变化及时做出响应。...rsync+inotify 可以实现触发式备份,只要原始位置的文档发生变化,则立即启动增量备份,否则处于静默等待状态,避免了按固定周期备份时存在的延迟性,周期过密等问题。

1K20
领券