CDH impala hive hbase 整合

impala hive hbase 整合

最终达到的效果是这样的:hbase是数据的存储中心。impala、hive可以增查habse数据,不支持insert overwrite impala hive hbase的增删改在三者任何之一处操作,另两处均可以查到

1、habse 创建表 create 'test_info', 'info' 表名test_info 列族: info 2.hive中创建外部表 不支持impala

CREATE EXTERNAL TABLE sho.test_info(
     user_id string,
     user_type tinyint,
     gender string,
     birthday string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.hbase.HBaseSerDe'
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key, info:user_type, info:gender, info:birthday")
TBLPROPERTIES("hbase.table.name" = "test_info");

hbase中的RowKey为 user_id ,其余的为列族 info:列名

3.同步元数据 修改完hive表后也要同步元数据

INVALIDATE METADATA; 

同步hive的Metastore中的元数据

注意: 1.ROW FORMAT SERDE ‘org.apache.hadoop.hive.hbase.HBaseSerDe’ STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’ WITH SERDEPROPERTIES 是严格区分大小写的 2.如果要改变test_info的字段,则只需删除test_info表,然后重建即可。 3.新老test_info的字段名个数可以不同,甚至表名都可以不同 4.重建若想要查询之前已有的数据,需保证字段名字一样。 5.insert into会自动覆盖相同字段名字的数据 6.用hive、impala每次查出的都是最新的数据

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏乐沙弥的世界

启用用户进程跟踪

仅仅需要标识该会话并为该会话启用跟踪(专用模式为一对一模式,即一个用户进程对应一个服务器进程)

902
来自专栏DannyHoo的专栏

开发后期在各个页面中添加友盟统计

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010105969/article/details/...

2672
来自专栏张善友的专栏

SQL Server 2012 中的 Service Broker功能的一些改进或增强

1. 可以将消息发送到多个目标服务(多播) 通过支持多个会话句柄,扩展了 SEND (Transact-SQL) 语句的语法以启用多播。 DECLARE @di...

1887
来自专栏一英里广度一英寸深度的学习

Java读取Mysql中文乱码

当完成以上全部配置,load data infile 文件装载到数据库,用client端读取,能正确显示中文。

3003
来自专栏Hadoop实操

如何使用StreamSets实现Oracle中变化数据实时写入Kudu

7735
来自专栏杨建荣的学习笔记

使用shell生成orabbix自动化配置脚本(r6笔记第53天)

在使用Orabbix监控Oracle的时候,本身和zaabix agent最大的不同便是使用Orabbix不需要对每个数据库实例都安装单独的agent,而是一个...

3128
来自专栏乐沙弥的世界

理解 using backup controlfile

        using backup controlfile 通常用于恢复由于当前控制文件丢失且原来备份的控制文件较当前发生变化的情形之下。using ba...

1063
来自专栏乐沙弥的世界

Oracle 12c手工建库(非CDB及CDB创建)

对于Oracle数据库的创建,Oracle除了支持dbca(GUI界面),同时也支持手工方式创建数据库,即使用CREATE DATABASE语句创建数据库。使用...

1451
来自专栏「3306 Pai」社区

浅析ProxySQL用户管理

对于读写分离特别重要,保证了同一个事务中所有的语句都会路由到同一组示例,防止出现同一个事务中,上下文数据不一致的情况。例如,在不开启这个属性的情况下:

2851
来自专栏乐沙弥的世界

如何获取mysql帮助信息

    在开发或测试环境在碰到mysql相关故障时,大多数朋友可能会通过论坛发帖,QQ群讨论方式来获取帮助。该方式是获取帮助的有效途径之一。然而如果在生产环境,...

964

扫码关注云+社区

领取腾讯云代金券