首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Linux Rsync 增量同步与快速删除

增量同步 rsync [args] SRC [DEST]情形:同时维护着两份不同的data_center,但以old_data_center为标准。...因为权限的缘故没有开启rsync自动同步,只是每隔一段时间手动同步一下。...SRC和DEST都是采用mount形式,如果每一次都完整地copy,耗时很长,这时候就想到采用增量同步的方法,因为两份data_center同时由不同人维护,所以内容略有不同,data_center同步的时候不光要完全同步...快速删除大量文件 先建一个空目录,随便位置 mkdir /local/empty_dir 用rsync删除目标目录 rsync --delete-before -avH --progress /local...rm删除内容时,将目录的每一个条目逐个删除(unlink),需要循环重复操作很多次; rsync删除内容时,建立好新的空目录,替换掉老目录,基本没开销。

2.9K10
您找到你想要的搜索结果了吗?
是的
没有找到

将根据时间增量数据方案修改为根据批次号增量数据方案

1、之前写过根据时间戳来增量数据,时间增量数据存在一定的缺点,就是如果开启自动的话,以后如果因为某个外在因素出错了,那么这个开始时间和结束时间不好控制,那么就可能造成一些其他数据量不准的情况,但是根据批次号不会出现这个问题...: 使用kettle来根据时间戳或者批次号来批量导入数据,达到增量的效果。...下面简单介绍了一下,各种方案的缺点和设计思路: 方案一、 a、设计思路,首先获取到目标数据库数据表的最大批次号,然后获取到系统数据库数据表的开始批次号(系统数据库数据表记录了每次开始批次和最大批次,这样可以保住增量数据...最终实现增量导入数据。

1.2K30
领券