hbase迁移EMR实践

一、业务背景： 业务方需要搭建一套hbase集群，数据来源是hive表。 集群数据规模：每天4.5kw个key，420亿条左右数据，平均每个key每天1000个记录。每天总数据量1.2T左右，3备份需要存储2年约2.5P。 为响应公司业务上云，通过腾讯云上EMR搭建hbase集群。hive集群是在IDC机房，和普通集群迁移相比，这涉及到跨机房、跨集群的数据迁移，以及hive表数据到hbase集群数据的转换。 二、技术方案步骤 1、IDC机房与EMR网络的联通性验证

2、在EMR上搭建hbase集群及hive组件

3、迁移hdfs数据，数据校验

4、在目标集群创建对应hive库、表

5、在目标集群中将数据转换为HFile文件、创建hbase表，通过bulkload方式将数据导入hbase表

6、hbase集群性能及数据验证

7、目标集群与调度组件环境通过接口机打通，编排脚本节点任务，整个hive至hbase集群迁移实现自动化调度

三、具体实施

1、IDC机房与EMR网络的联通性验证

      需要自建集群和EMR各个节点网络互通。distcp操作如果有xx 节点无法连接xx节点的异常，说明没有连通，需要继续设置。

2、在EMR上搭建hbase集群，hive组件（略）

3、迁移数据，数据校验

i）迁移数据

    一般在新集群上运行同步，这样同步的作业可以在新集群上运行，对老集群影响较小。

    方式：通过distcp命令同步集群数据

    hadoop distcp -pbug -m xx  源集群   目标集群（hdfs路径为hive表的location位置）

    迁移整体速度受集群间带宽，集群规模影响。

    -m指定map数，和集群规模，数据量有关；先同步几个分区，调整-m参数，找到一个适合该集群的值并评估一下整体时间。

    -bandwidth指定单个map的同步速度，是靠控制副本复制速度实现的，是大概值，由于IDC与EMR 是万兆带宽，就没设置该参数。

   -pb，当源集群中的dfs块的大小与目标集群不一致，需设置该参数，不然会报FileNotFoundException。

   -u,-g, 同步新老集群用户、用户组的权限。

   -p, hdfs有权限设置，确定老集群是否有acl规则，是否要同步，检查dfs.permissions.enabled 和dfs.namenode.acls.enabled的配置新老集群是否一致，按照实际需要修改。如果有acl规则要同步，distcp参数要加-p同步权限参数。如果distcp操作提示xx集群不支持acl，说明对应集群没配置。新集群没配置可以修改配置并重启NM。旧集群不支持，说明旧集群根本就没有acl方面的设置，也不需要同步。

   如果迁移过程中老集群还有写入，可以用-udpate再将变化同步过来。一般完全同步，需要有个短暂的业务停写，以启用双写双算或直接将业务切换到新集群上。由于本业务源数据是按天生成的，并且可以当天同步前天数据，所以没有加update参数。

ii) 数据校验

   通过 hadoop -fs du命令分别统计每个分区数据的大小，与原集群进行对比，做一个初步的数据校验。在第四步完成后通过hive命令统计每个分区的条数做对比。

4、在目标集群创建对应hive库、表

  i) 通过hive -e "create database/table xxx"

 ii) 由于hive的元数据放在MySQL或其他db里，通过上述步骤，并没绑定hive表与数据的关系，需执行msck repair table *** ，修复hive表元数据。

5、在目标集群中将数据转换为HFile文件、创建hbase表，通过bulkload方式将数据导入hbase表

     i) 通过mr生成hfile

       需要注意的是同一个rowkey的不同版本指定不同long型timestamp

     ii) 创建hbase表，通过bulkload方式将数据导入hbase表

        需要注意的是创建hbase表时指定region的划分策略，以及version的最大版本数。

  6、hbase集群性能及数据验证

       通过hbase shell的scan，get命令获取一定量数据，统计所需时间。测试获取最大版本数和在hive里查询的rowkey的个数进行对比，是否一致。

   7、目标集群通过接口机和调度组件环境打通。通过编排脚本节点任务，将数据工厂hive集群迁至EMR的hbase集群过程自动化调度

      在接口机安装EMR上一样的hadoop,hbase集群环境，然后调整脚本中的hadoop，hbase命令为该环境下的，编排脚本任务实施调度。