首页
学习
活动
专区
工具
TVP
发布

码字搬砖

专栏成员
209
文章
303138
阅读量
32
订阅数
Hbase迁移备份(后续更新)
Export、Import底层原理是MR,不适合太大量的数据迁移 此为跨集群的数据导入,若非跨集群,修改hdfs地址即可 导入导出: 目标表的特有数据不会覆盖掉,会保持特有数据的所有特征导出表数据 导出表数据 outputdir最好不存在 Export会自动创建 命令:hbase org.apache.hadoop.hbase.mapreduce.Export <tablename> <outputdir> [<versions> [<starttime> <endtime>]]] 例子:
shengjk1
2018-10-24
9350
Hbase常用命令
** 一般操作: ----- ** hbase(main)> status hbase(main)> version 创建命名空间: namespace指的是一个 表的逻辑分组 ,同一组中的表有类似的用途,相当于关系型数据库中的database。 hbase(main):060:0> create_namespace 'test1' drop_namespace 创建该命名空间的表: hbase(main):061:0> create 'test1:test','f1','f2' crea
shengjk1
2018-10-24
3.9K0
Hbase原理详解
首先指出图片的一个错误,Hlog应该属于HRegionserver的,不应该在HRegion中。
shengjk1
2018-10-24
1.1K0
Hbase RowKey设计原则
经常查 避免热点 尽量短,并且尽量长度一致
shengjk1
2018-10-24
8680
java反射的简单使用
前几天项目中遇到一个相对有意思的事情,那就是一个InsertHbase的工具类接收一个对象,然后获取到对象的每一个属性及其值,最后Insert到Hbase中 如:
shengjk1
2018-10-24
4610
Hbase在HDFS上的各个目录作用
1、/hbase/.META. 就是存储1中介绍的 META 表的存储路径。 2、/hbase/.archive HBase 在做 Split或者 compact 操作完成之后,会将 HFile 移到.archive 目录中,然后将之前的 hfile 删除掉,该目录由 HMaster 上的一个定时任务定期去清理。 3、/hbase/.corrupt 存储HBase做损坏的日志文件,一般都是为空的。 4、/hbase/.hbck HBase 运维过程中偶尔会遇到元数据不一致的情况,这时候会用到提供的 hbck 工具去修复,修复过程中会使用该目录作为临时过度缓冲。 5、/hbase/WAL 大家都知道 HBase 是支持 WAL(Write Ahead Log) 的,HBase 会在第一次启动之初会给每一台 RegionServer 在.log 下创建一个目录,若客户端如果开启WAL 模式,会先将数据写入一份到.log 下,当 RegionServer crash 或者目录达到一定大小,会开启 replay 模式,类似 MySQL 的 binlog。 6、/hbase/oldlogs 当.logs 文件夹中的 HLog 没用之后会 move 到.oldlogs 中,HMaster 会定期去清理。 7、/hbase/.snapshot hbase若开启了 snapshot 功能之后,对某一个用户表建立一个 snapshot 之后,snapshot 都存储在该目录下,如对表test 做了一个 名为sp_test 的snapshot,就会在/hbase/.snapshot/目录下创建一个sp_test 文件夹,snapshot 之后的所有写入都是记录在这个 snapshot 之上。 8、/hbase/.tmp 当对表做创建或者删除操作的时候,会将表move 到该 tmp 目录下,然后再去做处理操作。 9、/hbase/hbase.id 它是一个文件,存储集群唯一的 cluster id 号,是一个 uuid。 10、/hbase/hbase.version 同样也是一个文件,存储集群的版本号,貌似是加密的,看不到,只能通过web-ui 才能正确显示出来。
shengjk1
2018-10-24
2.7K0
Hbase优化思路
1.rowkey设计 2.手动split,手动compant 3.开启booleamfilter 4.采用压缩 5.预分区 6.并发读写 7.禁止自动autoflush,增大客户端缓存 8.参数优化 9.建表语句优化
shengjk1
2018-10-24
3960
Spark Insert Hbase解决task not to serializable
package javasssss; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.client.Put; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; import
shengjk1
2018-10-24
1K0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档