首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Linux Rsync 增量同步快速删除

因为权限的缘故没有开启rsync自动同步,只是每隔一段时间手动同步一下。...SRC和DEST都是采用mount形式,如果每一次都完整地copy,耗时很长,这时候就想到采用增量同步的方法,因为两份data_center同时由不同人维护,所以内容略有不同,data_center同步的时候不光要完全同步...,如果不使用此参数,则DEST端会同步SRC端的文件,但DEST端已有的文件不受影响。...快速删除大量文件 先建一个空目录,随便位置 mkdir /local/empty_dir 用rsync删除目标目录 rsync --delete-before -avH --progress /local...,并保持文件属性 --delete-before 接收者在传输之前进行删除操作 --progress 在传输时显示传输过程 -- 归档模式,表示以递归方式传输文件,并保持所有文件属性 -H 保持硬连接的文件

2.9K10

Linux文件同步工具之rsync

通过了解,Linux同步命令rsync命令可以实现文件同步。这里指的文件同步就是将jenkins工作目录下面的文件同步到我们指定的目录(如我们nginx配置的项目目录)。...并且rsync同步命令具备,高效、带宽消耗低、支持复制链接、设备、属主、属组、权限等。 命令介绍 rsync是远程(或本地)复制和同步文件最常用的命令。...借助rsync命令,你可以跨目录,跨磁盘和跨网络远程与本地数据进行复制和同步。举例来说:在两台Linux主机之间进行数据备份和镜像。...本文介绍在Linux主机上进行远程和本地传输文件的常见用法,不需要root账户也可以允许rsync。 rsync命令特点 1.高效地复制同步数据到对端,或者对端到本地。...--include=PATTERN 指定需要传输的文件模式 --delete 同步时,删除那些DST中有,而SRC没有的文件 --max-size:限定传输文件大小的上限 --dry-run:显示那些文件将被传输

3.4K10
您找到你想要的搜索结果了吗?
是的
没有找到

Linux下使用rsync同步文件

遇到的问题是几台游戏服务器,有一台新的服务器之前已经copy(Linux的scp命令)过文件上去,但在测试的过程中发现还是图片无法正常不显示出来,然后用httpwatch去分析请求的资源,发现有一个图片请求的地址是...404(文件不存在),然后ssh登录上去,找到指定目录,发现确实是没有这个文件。。。...为了不至于再copy一次,就需要使用文件同步的管理软件了,同事推荐了linux下的rsync,小试了一下,还是很不错的。...假设有服务器A 和 服务器B,现在登录了服务器B,需要将服务器A上的文件同步到服务器B中,将A中有的B中没有的,或是A中文件比B中的文件要新就全部copy过来。...o, --owner 保持文件属性信息 -g, --group 保持文件属组信息 -D, --devices 保持设备文件信息 -t, --times 保持文件时间信息

3.4K20

linux之rsync远程同步文件

--group 保持文件属组信息 -D, --devices 保持设备文件信息 -t, --times 保持文件时间信息 -S, --sparse 对稀疏文件进行特殊处理以节省 DST 的空间 -n,...SIZE 检验算法使用的块尺寸,默认是 700 字节 -e, --rsh=COMMAND 指定使用 rsh、ssh 方式进行数据同步 --rsync-path=PATH 指定远程服务器上的 rsync...将jdk.tar.gz拷贝到rumenz目录 > rsync -avhz jdk.tar.gz rumenz 将src目录拷贝到rumenz目录 将/opt/src 目录下的文件同步发送到rumenz...将本地/opt/src/目录下 所有文件同步备份到远程 /opt/rumenz/ 目录 > rsync -avhz /opt/src/ root@rumenz.com:/opt/rumenz/ 将本地.../opt/src/目录同步备份到远程 /opt/rumenz/ 目录 > rsync -avhz /opt/src root@rumenz.com:/opt/rumenz/ 将远程/opt/rumenz

1.9K10

linux之rsync远程同步文件

SIZE 检验算法使用的块尺寸,默认是 700 字节 -e, --rsh=COMMAND 指定使用 rsh、ssh 方式进行数据同步 --rsync-path=PATH 指定远程服务器上的 rsync...将jdk.tar.gz拷贝到rumenz目录 > rsync -avhz jdk.tar.gz rumenz 将src目录拷贝到rumenz目录 将/opt/src 目录下的文件同步发送到rumenz目录下...将本地/opt/src/目录下 所有文件同步备份到远程 /opt/rumenz/ 目录 > rsync -avhz /opt/src/ root@rumenz.com:/opt/rumenz/ 将本地/...opt/src/目录同步备份到远程 /opt/rumenz/ 目录 > rsync -avhz /opt/src root@rumenz.com:/opt/rumenz/ 将远程/opt/rumenz目录拷贝到...rsync --bwlimit=100 -avzhe ssh /opt/src/ root@rumenz.com:/opt/rumenz/ 原文链接:https://rumenz.com/rumenbiji/linux-rsync.html

2.4K00

linux之rsync远程同步文件

SIZE 检验算法使用的块尺寸,默认是 700 字节 -e, --rsh=COMMAND 指定使用 rsh、ssh 方式进行数据同步 --rsync-path=PATH 指定远程服务器上的 rsync...将jdk.tar.gz拷贝到rumenz目录 > rsync -avhz jdk.tar.gz rumenz 将src目录拷贝到rumenz目录 将/opt/src 目录下的文件同步发送到rumenz目录下...将本地/opt/src/目录下 所有文件同步备份到远程 /opt/rumenz/ 目录 > rsync -avhz /opt/src/ root@rumenz.com:/opt/rumenz/ 将本地/...opt/src/目录同步备份到远程 /opt/rumenz/ 目录 > rsync -avhz /opt/src root@rumenz.com:/opt/rumenz/ 将远程/opt/rumenz目录拷贝到...rsync --bwlimit=100 -avzhe ssh /opt/src/ root@rumenz.com:/opt/rumenz/ 原文链接:https://rumenz.com/rumenbiji/linux-rsync.html

2.2K20

linux ftp同步,ftp同步,lftp同步,lftp同步本地文件到远程ftp

(1).安装yum -y install lftp(2).同步本地文件到远程ftp命令lftp -u ftp账号,ftp密码 -e "mirror -R --delete --only-newer --...verbose 本地目录 远程目录" ftp地址(3).可能出现的错误:Certificate verification: Not trusted在配置文件/etc/lftp.conf加入忽略: set... ssl:verify-certificate no即可实现本地新增文件同步到远程,本地删除文件同步到远程,本地修改同步到远程,都是增量处理。...delete --only-newer --verbose /www/wwwroot/learn/  /htdocs" qxu206704603g94.my3w2.com通过更新master分支然后通过ftp同步到我的虚拟主机...,我的虚拟主机网速比服务器快,因此我同步ftp过去,上面的ftp信息是我虚拟主机的,密码都是错的,哈哈再更新下忽略git文件命令lftp -u qxfus2g0d6ss4,Qxu206fg04e6039f4

1.1K40

linux中编写同步文件的脚本

搭集群最麻烦的就是修改配置文件,如果只用修改一个机器上的配置文件,然后用一个脚本就可以把配置文件同步到其他机器上,岂不快哉!...编写一个名为xsync的脚本文件: 作用: 将当前机器的文件同步到集群所有机器的相同路径下!...hadoop102:/A/a , 执行脚本后,将此文件同步到集群中所有机器的 /A/a 用户在使用xsync时,只需要传入要同步文件即可 xysnc a 不管a是一个相对路径还是绝对路径,都需要将...文件的绝对路径=父路径+文件名: 父路径: dirpath=$(cd dirname /home/atguigu/hi; pwd -P) 文件名: filename=basename hi...exit; fi #获取分发文件的绝对路径 dirpath=$(cd `dirname $1`; pwd -P) filename=`basename $1` echo 要分发的文件的路径是:$dirpath

2.3K10

rsync - Linux下进行文件同步命令

rsync是Linux下进行文件同步到一个命令,可以同步两台计算机到文件与目录,利用查找文件中到不同块以减少数据传输。...rsync的基本用法 $ rsync [options] src dest 1、目的端和源端文件内容不同,触发同步 2、rsync不同步文件到”modify time”,进行同步文件,目的端到”modify...4、rsync有对源文件到读权限,且对目标路径有写权限,rsync就能确保目的端文件同步到和源端一致。 5、rsync只能以登录目的端到帐号来创建文件,无法保持目的端文件到属主和属组和源端一致。...如果你不使用此选项的话,rsync是这样来处理权限问题的: 1、如果目的端没有此文件,那么在同步后会将目的端文件的权限保持与源端一致; 2、如果目的端已存在此文件,那么只会同步文件内容,权限保持原有不变...3、–delete-after:默认情况下,rsync是先清理目的端的文件再开始数据同步;如果使用此选项,则rsync会先进行数据同步,都完成后再删除那些需要清理的文件

8.3K70

Linux 使用 rsync 文件远程同步操作

通过了解,Linux同步命令rsync命令可以实现文件同步。这里指的文件同步就是将jenkins工作目录下面的文件同步到我们指定的目录(如我们nginx配置的项目目录)。...并且rsync同步命令具备,高效、带宽消耗低、支持复制链接、设备、属主、属组、权限等。 命令介绍 rsync是远程(或本地)复制和同步文件最常用的命令。...借助rsync命令,你可以跨目录,跨磁盘和跨网络远程与本地数据进行复制和同步。举例来说:在两台Linux主机之间进行数据备份和镜像。...本文介绍在Linux主机上进行远程和本地传输文件的常见用法,不需要root账户也可以允许rsync。 rsync命令特点 1.高效地复制同步数据到对端,或者对端到本地。...--include=PATTERN 指定需要传输的文件模式 --delete 同步时,删除那些DST中有,而SRC没有的文件 --max-size:限定传输文件大小的上限 --dry-run:显示那些文件将被传输

2.3K10

dump文件 linux,Linux快速分析DUMP文件「建议收藏」

dump文件传输到本地进行分析, 常常需要大量的等待时间。 使用IBM的eclipse的MAT工具可以直接在服务器上进行快速DUMP分析。...运行环境要求 linux操作系统 JDK8 以上 下载MAT的linux版本 Eclipse的MAT工具下载链接 MAT支持各种操作系统,找到Linux版本下载下来 #运行uname -m 看一下linux..._64.zip 解压配置MAT基本参数 unzip MemoryAnalyzer-1.8.0.20180604-linux.gtk.x86_64.zip ## 修改MAT的内存大小, 注意这个大小要根据你...dump文件大小来的,如果dump文件是5GB那么 这里最好配>5GB 否则会报MAT内存不足的异常 ## 修改MemoryAnalyzer.ini 的 -Xmx6024m vi MemoryAnalyzer.ini...结果会生产如下三个zip文件,很小可以直接拷贝到本机 jmap_Leak_Suspects.zip jmap_System_Overview.zip jmap_Top_Components.zip 查看报告结果

7K10

linux快速生成大文件

dd命令可以轻易实现创建指定大小的文件,如  dd if=/dev/zero of=test bs=1M count=1000 会生成一个1000M的test文件文件内容为全0(因从/dev/zero...但是这样为实际写入硬盘,文件产生速度取决于硬盘读写速度,如果欲产生超大文件,速度很慢。 在某种场景下,我们只想让文件系统认为存在一个超大文件在此,但是并不实际写入硬盘。...则可以 dd if=/dev/zero of=test bs=1M count=0 seek=100000 此时创建的文件文件系统中的显示大小为100000MB,但是并不实际占用block,因此创建速度与内存速度相当...seek的作用是跳过输出文件中指定大小的部分,这就达到了创建大文件,但是并不实际写入的目的。 当然,因为不实际写入硬盘,所以你在容量只有10G的硬盘上创建100G的此类文件都是可以的。

3.3K20

linux怎么快速清空文件

这篇文章主要介绍“linux怎么快速清空文件”,在日常操作中,相信很多人在linux怎么快速清空文件问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”linux怎么快速清空文件...file 或者 bash: cat /dev/null >| file 更简单的方式是 >| file Linux有哪些版本 Linux的版本有:Deepin、UbuntuKylin、Manjaro、LinuxMint...其中Deepin是国内发展最好的Linux发行版之一;UbuntuKylin是基于Ubuntu的衍生发行版;Manjaro是基于Arch的Linux发行版;LinuxMint默认的Cinnamon桌面类似...Windows XP简单易用;Ubuntu则是以桌面应用为主的Linux操作系统。...到此,关于“linux怎么快速清空文件”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!

7.5K30

Linux快速搭建ntp时间同步服务器

背景: 服务器多了,时间是否一致以及是否准备就显得格外重要,虽然这个问题总是被忽略,但是统一时间是很有必要的,因为时间问题导致服务出现问题也是司空见惯,本文简单介绍Linux下ntp的快速搭建和使用。...3)、解决NTP服务器校准时间时的传送延迟 使用driftfile参数设置: driftfile 文件名 在与上级时间服务器联系时所花费的时间,记录在driftfile参数后面的文件内。...注意:  driftfile 后面接的文件需要使用完整的路径文件名,不能是链接文件,并且文件的权限需要设定成 ntpd守护进程可以写入。.../usr/share/zoneinfo  这个目录下存放的是各个时区对应的设定文件 /etc/localtime        本地系统时间设定文件 /etc/sysconfig/clock  本机时区设定文件...切记每次修改配置文件后重新启动服务使配置生效,可使用如下命令来检查NTP服务是否启动,启动的话可以得到一个进程ID号; pgrep ntpd 使用下面的命令检查时间服务器同步的状态 ntpq -p 用

4.7K10

Linux技巧】linux快速查找文件

在使用linux时,经常需要进行文件查找。其中查找的命令主要有find和grep。两个命令是有区别的。...区别: (1)find命令是根据文件的属性进行查找,如文件名,文件大小,所有者,所属组,是否为空,访问时间,修改时间等。...拓展: (1)which 查看可执行文件的位置 ,只有设置了环境变量的程序才可以用 (2)whereis 寻找特定文件,只能用于查找二进制文件、源代码文件和man手册页 (3...-name 'srm*'   #表示当前目录下查找文件名开头是字符串‘srm’的文件 2.按照文件特征查找      (1)find / -amin -10   # 查找在系统中最后10分钟访问的文件(...-i:不区分大小写      -h:查询多文件时不显示文件名。     -l:查询多文件时只输出包含匹配字符的文件名。     -n:显示匹配行及行号。

1.2K20

Linux命令rsync增量同步目录下的文件

业务场景描述 最近遇到一个问题,需要编写相应的Linux命令,增量同步/var/mysql里的所有文件到另外一个目录/opt/mysql,但是里面相关的日志文件xx.log是不同步的,这个场景,可以使用...rsync是英文词语remote sync的缩写,是Linux系统一款比较实用的命令,可以用于文件的增量同步 rsync命令常用参数 rsync有哪些常用参数?...针对开头描述的业务场景,可以编写下面的Linux命令实现增量同步 rsync -avz - exclude='*....,-g表示保留组信息,-o表示保留所有者信息,'`-D’表示保留设备和特殊文件 -v·:表示详细模式输出同步过程的信息 -z:表示使用压缩模式传输文件,可以节省网络带宽 --exclude=''*....logs:表示排除logs日志文件 /var/mysql/:表示要同步的原目录路径 /opt/mysq;/:同步后的目录路径

2K30

linux快速清空大文件

通过重定向到null清空文件内容 使用 shell 重定向null(不存在的对象)到文件的最简单方法来清空文件内容 # > access.log 2.使用true命令重定向清空文件 这里我们将使用一个符号...使用带有 /dev/null 的 cat/cp/dd 应用程序清空文件Linux 中,null设备主要用于丢弃进程不需要的输出流,或者作为输入流。这通常是通过重定向机制完成的。.../dev/null设备文件是一个特殊文件,它会吞噬发送给它的任何输入,或者它的输出与空文件的输出相同。...因此将上面的echo 命令的输出重定向到文件中,并使用cat 命令查看文件内容时,会打印一个空行 要发送一个空输出到文件,使用该标志-n告诉echo 不输出换行符。...使用 truncate 命令清空文件 truncate命令将文件的大小缩小或扩展到定义的大小。 你可以将它与-s指定文件大小的选项一起使用。要清空文件内容使用-s 0参数。

3.4K10

Linux 结合 inotify 和 rsync 实现文件动态同步

基础知识 Rsync 数据同步工具 Linux 通知 inotify 文件动态同步 根据 inotify 的相关知识,可以发现,很多动作都涉及了close事件,且大多数情况都是伴随着close_write...该脚本记录了哪些被删除或从监控目录中移出的文件,且监控到事件后,触发的rsync操作是对整个监控目录$watch_dir进行同步,并且不对vim产生的临时文件进行同步。...时应该总是让rsync同步目录,而不是同步那些产生事件的单个文件,否则很可能会出现文件遗漏。...另一方面,同步单个文件的性能非常差。...inotify也会监控这些临时文件,且临时文件会涉及多个事件,因此它们可能也会被rsync拷贝走,除非设置好排除临时文件,但无论如何,这些临时文件是不应该被同步的,极端情况下,同步vim的临时文件到服务器上可能是致命的

1.7K20
领券