码字搬砖-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

码字搬砖

专栏成员

209

文章

303138

阅读量

32

订阅数

Hbase迁移备份(后续更新)

hbase 数据迁移 apache hadoop mapreduce

Export、Import底层原理是MR，不适合太大量的数据迁移此为跨集群的数据导入，若非跨集群，修改hdfs地址即可导入导出: 目标表的特有数据不会覆盖掉，会保持特有数据的所有特征导出表数据导出表数据 outputdir最好不存在 Export会自动创建命令：hbase org.apache.hadoop.hbase.mapreduce.Export <tablename> <outputdir> [<versions> [<starttime> <endtime>]]] 例子：

2018-10-24

9350

Hbase常用命令

hbase 数据库缓存 nat

** 一般操作： ----- ** hbase(main)> status hbase(main)> version 创建命名空间： namespace指的是一个表的逻辑分组，同一组中的表有类似的用途，相当于关系型数据库中的database。 hbase(main):060:0> create_namespace 'test1' drop_namespace 创建该命名空间的表： hbase(main):061:0> create 'test1:test','f1','f2' crea

2018-10-24

3.9K0

Hbase原理详解

hbase go zookeeper 存储 shell

首先指出图片的一个错误，Hlog应该属于HRegionserver的，不应该在HRegion中。

2018-10-24

1.1K0

Hbase RowKey设计原则

经常查避免热点尽量短，并且尽量长度一致

2018-10-24

8680

java反射的简单使用

java hbase zookeeper access

前几天项目中遇到一个相对有意思的事情，那就是一个InsertHbase的工具类接收一个对象，然后获取到对象的每一个属性及其值，最后Insert到Hbase中如：

2018-10-24

4610

Hbase在HDFS上的各个目录作用

hbase 存储 hive 运维

1、/hbase/.META. 就是存储1中介绍的 META 表的存储路径。 2、/hbase/.archive HBase 在做 Split或者 compact 操作完成之后，会将 HFile 移到.archive 目录中，然后将之前的 hfile 删除掉，该目录由 HMaster 上的一个定时任务定期去清理。 3、/hbase/.corrupt 存储HBase做损坏的日志文件，一般都是为空的。 4、/hbase/.hbck HBase 运维过程中偶尔会遇到元数据不一致的情况，这时候会用到提供的 hbck 工具去修复，修复过程中会使用该目录作为临时过度缓冲。 5、/hbase/WAL 大家都知道 HBase 是支持 WAL（Write Ahead Log）的，HBase 会在第一次启动之初会给每一台 RegionServer 在.log 下创建一个目录，若客户端如果开启WAL 模式，会先将数据写入一份到.log 下，当 RegionServer crash 或者目录达到一定大小，会开启 replay 模式，类似 MySQL 的 binlog。 6、/hbase/oldlogs 当.logs 文件夹中的 HLog 没用之后会 move 到.oldlogs 中，HMaster 会定期去清理。 7、/hbase/.snapshot hbase若开启了 snapshot 功能之后，对某一个用户表建立一个 snapshot 之后，snapshot 都存储在该目录下，如对表test 做了一个名为sp_test 的snapshot，就会在/hbase/.snapshot/目录下创建一个sp_test 文件夹，snapshot 之后的所有写入都是记录在这个 snapshot 之上。 8、/hbase/.tmp 当对表做创建或者删除操作的时候，会将表move 到该 tmp 目录下，然后再去做处理操作。 9、/hbase/hbase.id 它是一个文件，存储集群唯一的 cluster id 号，是一个 uuid。 10、/hbase/hbase.version 同样也是一个文件，存储集群的版本号，貌似是加密的，看不到，只能通过web-ui 才能正确显示出来。

2018-10-24

2.7K0

Hbase优化思路

1.rowkey设计 2.手动split，手动compant 3.开启booleamfilter 4.采用压缩 5.预分区 6.并发读写 7.禁止自动autoflush，增大客户端缓存 8.参数优化 9.建表语句优化

2018-10-24

3960

Spark Insert Hbase解决task not to serializable

spark hbase java apache hadoop

package javasssss; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.client.Put; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; import

2018-10-24

1K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态