首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

linux 如何增量备份

在Linux系统中,增量备份是一种备份策略,它只备份自上次备份以来发生变化的文件或数据块,从而节省了存储空间和备份时间。以下是关于Linux增量备份的一些基础概念、优势、类型、应用场景以及实现方法:

基础概念

  • 全备份:备份所有选定的文件和数据。
  • 增量备份:仅备份自上次备份(无论是全备份还是增量备份)以来发生变化的部分。
  • 差异备份:备份自上次全备份以来发生变化的所有文件。

优势

  • 节省存储空间:因为只备份变化的部分,所以相比全备份,增量备份占用的存储空间更少。
  • 减少备份时间:备份的数据量小,所需时间也相应减少。
  • 灵活性:可以根据需要恢复到任意时间点的状态。

类型

  • 基于文件的增量备份:跟踪文件的变化,只备份修改过的文件。
  • 基于块的增量备份:跟踪数据块的变化,更精细地控制备份内容。

应用场景

  • 日常数据保护:对于频繁变化的数据,如数据库日志、用户文档等。
  • 灾难恢复:在系统故障或数据丢失时,可以快速恢复到最近的状态。

实现方法

Linux中可以使用多种工具来实现增量备份,例如rsynctar配合--listed-incremental选项、borgbackup等。

使用rsync进行增量备份

rsync是一个非常强大的文件同步工具,它可以实现高效的增量备份。

代码语言:txt
复制
# 假设源目录为 /source,目标备份目录为 /backup
rsync -av --delete /source/ /backup/
  • -a:归档模式,表示递归传输并保持文件属性。
  • -v:详细模式,显示备份过程。
  • --delete:删除目标目录中源目录没有的文件,保持两边一致。

使用tar进行增量备份

tar命令配合--listed-incremental选项可以实现增量备份。

代码语言:txt
复制
# 创建初始全备份
tar --create --file=/backup/full_backup.tar --listed-incremental=/backup/snapshot.snar /source/

# 创建增量备份
tar --create --file=/backup/incremental_backup_$(date +%F).tar --listed-incremental=/backup/snapshot.snar /source/
  • --listed-incremental:指定一个快照文件,记录上次备份的状态。

注意事项

  • 备份验证:定期验证备份文件的完整性和可恢复性。
  • 存储管理:合理规划备份存储空间,定期清理过期的备份。
  • 安全性:确保备份数据的安全,可以使用加密技术保护敏感信息。

通过上述方法,可以在Linux系统中实现高效的增量备份策略,根据实际需求选择合适的工具和方法。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

linux下rsync和tar增量备份梳理

前面总结过一篇全量备份/增量备份/差异备份说明,下面介绍下linux下rsync和tar两种增量备份的操作记录: 1)rsync备份 rsync由于本身的特性,在第一次rsync备份后,以后每次都只是传内容有改变的部分...[root@linux-node3 test]# ls a1.txt a2.txt a3.txt aaa 现在使用rsync进行增量备份 [root@linux-node3 mnt]# rsync.../aaaa [root@linux-node3 mnt]# ls test/ aaa aaaa test1 test2 test3 执行第二次的增量备份 [root@linux-node3...snapshot时间戳文件,后面写增量备份脚本 [root@linux-node3 ~]# vim backup_incremental.sh #!...可能出现下面两种问题: --> snapshot时间戳文件是每次增量备份完成时候更新的,如果在两次备份间隔间,由于io问题,上次备份没完成,第二次增量备份就开始的话, 就有可能出现,第二次增量备份并不是一个备份间隔有修改过的文件

3.8K110

Linux下的rsync远程增量备份详解

一、rsync工具介绍1.rsync工具简介rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步,支持本地复制,或者与其他SSH、rsync主机同步。...t, --times 保持文件时间信息-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间-n, --dry-run显示哪些文件将被传输-W, --whole-file 拷贝文件,不进行增量检测...py-rw-r--r--. 1 root root 0 Apr 30 14:10 file8.py-rw-r--r--. 1 root root 0 Apr 30 14:10 file9.py3.进行远程增量备份...py-rw-r--r--. 1 root root 0 Apr 30 14:10 file8.py-rw-r--r--. 1 root root 0 Apr 30 14:10 file9.py[四、测试增量备份...node1上备份文件变化情况,发现修改权限的文件进行了备份,权限保持了一致。

87340
  • mysql—总体备份和增量备份

    总体备份: 对整张表或者整个数据库甚至全部数据库进行备份。 增量备份: 对某一范围内的数据进行备份。...1、总体备份: 对表进行备份: 针对存储引擎为myisam的表,能够直接复制frm、myd、myi这三个文件起到备份的效果。须要还原的时候,再复制回来就能够达到还原效果。...怎样进行备份?...表已经被还原回来 怎样备份多个表? 答:mysqldump -u用户 -p 数据库 表1 表2 …… 表N > 备份文件路径 怎样备份1个数据库?...答:mysqldump -u用户 -p -A >备份文件路径 2、增量备份 首先启动二进制日志功能,通过设置my.ini或者my.conf 在mysqld以下加入二进制备份路径(注意路径是左斜杠‘/

    5.1K20

    全量备份增量备份差异备份说明

    作为一名运维工程师,在日常工作中会时常对各类重要数据进行备份,为了方便管理,运用何种备份方案是至关重要的。 今天在此简单说明下Linux运维中的备份种类:全量备份、增量备份、差异备份。...2)增量备份 增量备份是针对于上一次备份(无论是哪种备份):备份上一次备份后(包含全量备份、差异备份、增量备份),所有发生变化的文件。...增量备份是指在一次全备份或上一次增量备份后,以后每次的备份只需备份与前一次相比增加和者被修改的文件。...这就意味着,第一次增量备份的对象是进行全备后所产生的增加和修改的文件;第二次增量备份的对象是进行第一次增量备份后所产生的增加和修改的文件,如此类推。...三、比较 1)按备份数据量,从多到少排序: 全量备份->差异备份->增量备份 2)按数据恢复速度,从快到慢排序: 全量备份->差异备份->增量备份 四、不同备份类型组合说明 1)全量备份和增量备份结合

    4.2K70

    完全备份、差异备份、增量备份的区别

    导读: 常用的数据备份方式有完全备份、差异备份以及增量备份,那么这三种备份方式有什么区别,在具体应用中又该如何选择呢?...增量备份是指在一次全备份或上一次增量备份后,以后每次的备份只需备份与前一次相比增加和者被修改的文件。...这就意味着,第一次增量备份的对象是进行全备份后所产生的增加和修改的文件;第二次增量备份的对象是进行第一次增量备份后所产生的增加和修改的文件,如此类推。...2、差异备份与增量备份的区别 通过上面的概念分析可以知道,差异备份与增量备份的区别在于它们备份的参考点不同:前者的参考点是上一次完全备份、差异备份或增量备份,后者的参考点是上一次完全备份。...完全备份与增量备份 以每周数据备份为例,在星期一进行完全备份,在星期二至星期五进行增量备份。如果在星期五数据被破坏了,则你需要还原星期一正常的备份和从星期二至星期五的所有增量备份。

    4.2K20

    MySQL实时增量备份

    ,数据插入和更新操作会被挂起   XtraBackup工具     在线热备份工具     备份过程中不锁表,适合生产环境适用     支持整体备份和增量备份     组件一xtrabackup:C程序...--target-dir 备份到目标文件夹 --datadir 备份的原始文件夹(Mysql库的位置) --prepare 准备恢复数据 --increamental-basedir 增量备份时,指定参照的完整备份路径...--incremental-dir 准备恢复目录时,指定增量备份的路径  1)使用XtraBackup执行数据库备份 [root@localhost~]# mkdir -p /backup/mysql...+增量备份” 以/backup/mysql/用来重建MySQL服务器,但这种情况下需提前合并相关增量备份的数据: 先准备完整备份目录,添加--apply-log-only仅应用日志: [root@loclahost...\ --incremental-dir=/backup/inc01 至此,数据库已经包含增量备份。

    2.7K40

    innobackupex备份恢复+增量备份与恢复

    /data/backup/ 92M /data/backup/ 3.2 创建增量备份 再开始之前,我们先模拟增加一个库,这个就是我们所谓的增加的数据!...16M; 3.3 模拟执行第二次增量备份 [[email protected] backup]# mysql -uroot -pzhangduanya -e "create database lalala...2017-08-24_23-10-21 17M 2017-08-24_23-41-33 ----------------------------- 这里有个注意点,也是困扰很多人的一个关键操作,我们再次做增量备份的时候要基于刚刚已经做了的基础上面再次增量...也即是说这样这次的增量里面才会有刚刚咱们添加的db123库的信息。 ---- 四、增量备份的恢复 4.1 为了还原真实性,我模拟删除数据库,并且停掉mysql,利用咱们已经备份的数据去恢复它。...innobackupex version 2.3.6 based on MySQL server 5.6.24 Linux (x86_64) (revision id: ) Error: datadir

    12.4K100

    如何用 Python 增量备份 Roam Research 笔记图片?

    我之前给你介绍过如何用它写论文、做幻灯,你不难了解到它的易用性。 因为简单易用, Markdown 在很多笔记工具上,都有良好支持。...做个备份不是坏事儿。随着存到 Roam Reserach 上的图片越来越多,我觉得还是有必要的在本地留一个备份。 方法并不难,找到所有的云端图片链接,备份到本地的一个文件夹。...要是每次备份都得花这么长时间,而且每次时间都变得更长,那谁受得了? 当然了,我们不需要把自己逼到这样的窘境。 因为你不必每次都下载所有的图片。 解决的办法,是增量备份。...如果你对「正则表达式」这个名词印象不够深刻了,建议复习这篇《如何用 Python 和正则表达式抽取文本结构化信息?》 还有一个包就是 JSON,他帮你做的,是读写下载记录。...这个记录,除了实现咱们提到的增量备份,避免每次重复做无用功之外,还有一个重要用途。

    1.3K10

    Oracle 增量备份恢复验证

    首先把Oracle备份文件传到目标端,解压,如下所示是每天的备份,其中20190816是0级别的差异增量备份 ,其余的都是1级的差异增量备份。...oinstall 298 Aug 18 18:41 20190817 drwxr-xr-x 2 oracle oinstall 298 Aug 18 18:44 20190818 1.恢复参数文件(参数文件会在自动备份控制文件的时候进行备份...: RMAN> catalog start with '/data/backup/oracle'; 3.2具体恢复,基于时间的恢复,选择一个比较大的时间,就是肯定在备份时间之后的时间!...首先在完成最后一次增量备份后,再主库insert一条数据, SQL> insert into liuwenhe.test values (1010101); SQL>commit; SQL> alter...至此完成了增量备份的恢复! RMAN不完全恢复的主要操作命令!

    1.2K10

    Tar命令之增量备份

    Linux默认的tar压缩支持增量备份, 百度了一下来源 linux备份真是太方便了,其实我们常用的tar就是很好的增量备份软件 使用 tar -g 参数进行增量备份实验 完整备份: #建立测试路径与档案...#查看 tarball 内容 tar ztf backup_full.tar.gz test/ test/a test/b test/c 增量备份: #新增一个档案 touch test/d...#执行第一次的增量备份 (注意 tarball 档名) tar -g snapshot -zcf backup_incremental_1.tar.gz test #查看 tarball 内容 tar...backup_incremental_1.tar.gz test/ test/d #新增一个档案, 并异动一个档案内容 touch test/e echo 123 > test/a #执行第二次的增量备份...内容 tar ztf backup.tar.gz test/ test/a test/b test/c 增量备份: #新增一个档案, 并异动一个档案内容 touch test/d echo 123

    1.8K10

    mysql备份策略的实现(全量备份+增量备份)

    设计场景 1)增量备份在周一到周六凌晨3点,复制mysql-bin.00000*到指定目录; 2)全量备份则使用mysqldump将整个数据库导出,每周日凌晨3点执行,并会删除上周留下的mysq-bin....00000*,然后对mysql的备份操作会保留在bak.log文件中。...#增量日志文件目录 (2)修改所属的用户/组:(不修改,mysql无法重启) #chown -R mysql.mysql mysql-bin (3)修改mysql配置文件,执行: #vim /etc/my.cnf...目录 新建目录:mkdir backup 进入backup目录,新建daily目录:mkdir backup 切换到/home/mysql目录,执行: #vim Mysql-FullyBak.sh 编写增量备份脚本...0 3 * * 0 /bin/bash -x /home/mysql/Mysql-FullyBak.sh >/dev/null 2>&1#周一到周六凌晨3:00做增量备份0 3 * * 1-6 /bin

    4K30

    Tar命令之增量备份

    Linux默认的tar压缩支持增量备份, 百度了一下来源 linux备份真是太方便了,其实我们常用的tar就是很好的增量备份软件 使用 tar -g 参数进行增量备份实验 完整备份: #建立测试路径与档案...查看 tarball 内容 tar ztf backup_full.tar.gz test/ test/a test/b test/c 增量备份: #新增一个档案 touch test/d #执行第一次的增量备份...backup_incremental_1.tar.gz test/ test/d #新增一个档案, 并异动一个档案内容 touch test/e echo 123 > test/a #执行第二次的增量备份...内容 tar ztf backup.tar.gz test/ test/a test/b test/c 增量备份: #新增一个档案, 并异动一个档案内容 touch test/d echo 123...> test/a #执行增量备份 (-u 参数只能执行於未压缩的 tarball) gunzip backup.tar.gz tar uf backup.tar test gzip backup.tar

    1.1K30

    docker mysql增量备份和全量备份

    MySQL作为常用的数据库之一,数据备份显得尤为重要。本文将介绍如何在Docker环境中进行MySQL的全量备份和增量备份,并附带代码示例及可视化工具,让备份过程更加清晰易懂。...以下是一个示例代码,展示如何在Docker容器中执行全量备份:docker exec -it your_mysql_container_name mysqldump -u root -p your_database_name...> /path/to/backup/your_database_name_full.sql:将备份数据重定向到指定路径。增量备份增量备份是指只备份自上次备份以来发生变化的数据。...MySQL提供了二进制日志(binlog)用于增量备份。首先,需要确保在MySQL配置中启用了二进制日志。...可以使用以下命令进行增量备份:docker exec -it your_mysql_container_name mysqlbinlog --start-datetime="YYYY-MM-DD HH:

    5010

    Jtti:什么是增量备份和差异备份

    增量备份和差异备份是两种备份策略,它们的区别主要体现在备份时选择哪些数据进行备份。...增量备份(Incremental Backup):定义: 增量备份仅备份自上次备份以来发生变化的数据,不论是上次的完整备份还是增量备份。...缺点:恢复过程相对复杂,需要依次还原完整备份和所有增量备份。长期使用可能导致备份链变得较长,增加了恢复的复杂性。...与增量备份不同,差异备份并不关心上一次备份是完整备份还是增量备份,它始终备份自上次完整备份以来的所有变化数据。优点:恢复相对简单,只需还原上次完整备份和最后一次差异备份即可。...选择使用增量备份还是差异备份取决于具体的需求和恢复策略:如果注重备份速度、希望占用较少存储空间,并且可以容忍稍微复杂一些的恢复过程,增量备份可能是一个不错的选择。

    43820

    如何利用 Flink CDC 实现数据增量备份到 Clickhouse

    本文我们首先来介绍什么是CDC,以及CDC工具选型,接下来我们来介绍如何通过Flink CDC抓取mysql中的数据,并把他汇入Clickhouse里,最后我们还将介绍Flink SQL CDC的方式。...其主要的应用场景: 异构数据库之间的数据同步或备份 / 建立数据分析计算平台 微服务之间共享数据状态 更新缓存 / CQRS 的 Query 视图更新 CDC 它是一个比较广义的概念,只要能捕获变更的数据...另外,由于Debezium用持久化的、有副本备份的日志来记录数据库数据变化的历史,因此,你的应用可以随时停止再重启,而不会错过它停止运行时发生的事件,保证了所有的事件都能被正确地、完全地处理掉。...Flink SQL CDC 接下来,我们看一下如何通过Flink SQL实现CDC ,只需3条SQL语句即可。

    4.5K70
    领券