前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >hbase表数据备份策略

hbase表数据备份策略

作者头像
我是攻城师
发布2018-05-14 17:19:53
2.2K0
发布2018-05-14 17:19:53
举报
文章被收录于专栏:我是攻城师

Hbase的数据备份策略有:

(1)Distcp

(2)CopyTable

(3)Export/Import

(4)Replication

(5)Snapshot

下面介绍这几种方式:

(一)Distcp(离线备份)

直接备份HDFS数据,备份前需要disable表,在备份完成之前 服务不可用对在线服务类业务不友好

(二)CopyTable(热备)

执行命令前,需要创建表,支持时间区间、row区间,改变表名称,改变列簇名称,指定是否copy删除数据等功能,例如:

三、Export/Import(热备+离线)

通过Export导出数据到目标集群的hdfs,再在目标集群执行import导入数据,Export支持指定开始时间和结束时间,因此可以做增量备份。

四,Replication(实时)

通过Hbase的replication机制实现Hbase集群的主从模式实时同步

五,Snapshot(备份实时,恢复需要disable)

个人觉得这里备份里面最经济划算的一个,可以每天在固定时间点对hbase表数据进行快照备份,然后如果出现问题了,可以直接恢复到某个时间点上的数据,适合修复指标计算错误的场景,然后从某个时间点上重新修复。

下面详细说下使用方式:

(1)先建立一个测试表

代码语言:javascript
复制
 create 'test','cf'

(2)添加数据

代码语言:javascript
复制
> put 'test','a','cf:c1',1

> put 'test','a','cf:c2',2

> put 'test','b','cf:c1',3

> put 'test','b','cf:c2',4

> put 'test','c','cf:c1',5

> put 'test','c','cf:c2',6

(3)创建快照

代码语言:javascript
复制
  hbase snapshot  create -n test_snapshot -t test

(4)查看快照

代码语言:javascript
复制
 list_snapshots

(5)导出到HDFS

代码语言:javascript
复制
 hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot test_snapshot -copy-to  hdfs://user/back/xxx

(6)从快照恢复数据到原表中

代码语言:javascript
复制
restore _snapshot 'test_snapshot'

(7)从快照中恢复到一个新表中

代码语言:javascript
复制
clone_snapshot 'test_snapshot','test_2'

以上几种策略就是所有的备份策略了,实际应用中需要具体情况选择其中的一种或几种,总体来说快照备份是一个性价比比较高的一种策略。时间短,体积小,恢复快,最终还可以恢复数据到一张新表中,不影响原来的表。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-03-29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 我是攻城师 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档