如何在CDH集群使用HDFS快照

Fayson

修改于 2018-04-01 19:25:37

1.4K0

修改于 2018-04-01 19:25:37

文章被收录于专栏：Hadoop实操

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

1.文档编写目的

HDFS中可以对目录创建Snapshot，创建之后不管后续目录发生什么变化，都可以通过快照找回原来的文件和目录结构，那么在CDH集群中如何使用HDFS的快照功能呢？本文章主要讲述如何在CDH中使用HDFS的快照功能，包括全量快照和增量快照和恢复。

内容概述

1.启用目录快照功能

2.创建目录快照

3.快照数据恢复

4.总结

测试环境

1.CM和CDH版本为5.11.2

2.操作系统：RedHat7.2

3.采用sudo权限的ec2-user用户操作

2.启用快照功能

1.登录CM的Web界面

2.进入HDFS服务

3.点击菜单“文件浏览”

4.选择需要创建快照的目录/data/mytest目录

5.在创建快照时，需要先启用该目录的快照

快照启用成功

3.创建目录快照

1.创建快照前，查看/data/mytest/data.dat文件内容

[ec2-user@ip-172-31-22-86 ~]$ sudo -u hdfs hadoop fs -cat /data/mytest/data.dat
test1@#$test1name@#$test2value
test2@#$test2name@#$test2value
test3@#$test3name@#$test4value
[ec2-user@ip-172-31-22-86 ~]$

2.创建一个新的快照

快照创建成功

3.向/data/mytest/data.dat文件中追加内容

[ec2-user@ip-172-31-22-86 ~]$ more test.dat 
test4@#$test4name@#$test4value
test5@#$test5name@#$test5value
[ec2-user@ip-172-31-22-86 ~]$ hadoop fs -appendToFile test.dat /data/mytest/data.dat
[ec2-user@ip-172-31-22-86 ~]$ hadoop fs -cat /data/mytest/data.dat
test1@#$test1name@#$test2value
test2@#$test2name@#$test2value
test3@#$test3name@#$test4value
test4@#$test4name@#$test4value
test5@#$test5name@#$test5value
[ec2-user@ip-172-31-22-86 ~]$

4.在追加数据后再创建一个快照MySecondSnapshot

4.快照数据恢复

1.将/data/mytest/目录下的所有数据文件删除

[ec2-user@ip-172-31-22-86 ~]$ hadoop fs -rm -r /data/mytest/*
17/10/18 21:57:24 INFO fs.TrashPolicyDefault: Moved: 'hdfs://ip-172-31-21-45.ap-southeast-1.compute.internal:8020/data/mytest/data.dat' to trash at: hdfs://ip-172-31-21-45.ap-southeast-1.compute.internal:8020/user/ec2-user/.Trash/Current/data/mytest/data.dat
[ec2-user@ip-172-31-22-86 ~]$ hadoop fs -ls /data/mytest     
[ec2-user@ip-172-31-22-86 ~]$