CDH impala hive hbase 整合

impala hive hbase 整合

这里写图片描述

最终达到的效果是这样的：hbase是数据的存储中心。impala、hive可以增查habse数据，不支持insert overwrite impala hive hbase的增删改在三者任何之一处操作，另两处均可以查到

1、habse 创建表 create 'test_info', 'info' 表名test_info 列族： info 2.hive中创建外部表 不支持impala

CREATE EXTERNAL TABLE sho.test_info(
     user_id string,
     user_type tinyint,
     gender string,
     birthday string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.hbase.HBaseSerDe'
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key, info:user_type, info:gender, info:birthday")
TBLPROPERTIES("hbase.table.name" = "test_info");

hbase中的RowKey为 user_id ，其余的为列族 info:列名

3.同步元数据 修改完hive表后也要同步元数据

INVALIDATE METADATA; 

同步hive的Metastore中的元数据

注意： 1.ROW FORMAT SERDE ‘org.apache.hadoop.hive.hbase.HBaseSerDe’ STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’ WITH SERDEPROPERTIES 是严格区分大小写的 2.如果要改变test_info的字段，则只需删除test_info表，然后重建即可。 3.新老test_info的字段名个数可以不同，甚至表名都可以不同 4.重建若想要查询之前已有的数据，需保证字段名字一样。 5.insert into会自动覆盖相同字段名字的数据 6.用hive、impala每次查出的都是最新的数据