Hadoop基础教程-第12章 Hive:进阶(12.4 Hive Metastore)(草稿)

第12章 Hive:进阶

12.4 Hive Metastore

12.4.1 三种配置方式

Hive Metastore有三种配置方式,分别是:

Embedded Metastore Database (Derby) 内嵌模式 Local Metastore Server 本地元存储 Remote Metastore Server 远程元存储

12.4.2 Metastore作用

metadata即元数据。元数据包含用Hive创建的database、tabel等的元信息。 元数据存储在关系型数据库中。如Derby、MySQL等。

Metastore的作用是:客户端连接metastore服务,metastore再去连接MySQL数据库来存取元数据。有了metastore服务,就可以有多个客户端同时连接,而且这些客户端不需要知道MySQL数据库的用户名和密码,只需要连接metastore 服务即可。

本地元存储和远程元存储的区别是:本地元存储不需要单独起metastore服务,用的是跟hive在同一个进程里的metastore服务。远程元存储需要单独起metastore服务,然后每个客户端都在配置文件里配置连接到该metastore服务。远程元存储的metastore服务和hive运行在不同的进程里。

在生产环境中,建议用远程元存储来配置Hive Metastore。

12.4.3 Hive服务规划

节点

ip

MySQL

HiveServer2

Metastore

Hive

node1

192.168.80.131

Y

Y

node2

192.168.80.132

Y

Y

node3

192.168.80.133

Y

12.4.4 beenline

HiveServer2提供了一个新的命令行工具Beeline,它是基于SQLLine CLI的JDBC客户端。

Beeline工作模式有两种,即本地嵌入模式和远程模式。嵌入模式情况下,它返回一个嵌入式的Hive(类似于hive CLI)。而远程模式则是通过Thrift协议与某个单独的HiveServer2进程进行连接通信。

(1)本地模式

[root@node1 ~]# /usr/lib/hive/bin/beeline 
Beeline version 1.2.1000.2.4.3.0-227 by Apache Hive
beeline> !connect jdbc:hive2://localhost:10000/default
Connecting to jdbc:hive2://localhost:10000/default
Enter username for jdbc:hive2://localhost:10000/default: root
Enter password for jdbc:hive2://localhost:10000/default: ******
Connected to: Apache Hive (version 1.2.1000.2.4.3.0-227)
Driver: Hive JDBC (version 1.2.1000.2.4.3.0-227)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://localhost:10000/default> show tables;
+-----------+--+
| tab_name  |
+-----------+--+
| goods     |
+-----------+--+
1 row selected (0.236 seconds)
0: jdbc:hive2://localhost:10000/default> select * from goods;
+-----------+-------------+--+
| goods.id  | goods.name  |
+-----------+-------------+--+
| 1         | Java        |
| 2         | Java EE     |
| 3         | Android     |
| 4         | Hadoop      |
| 5         | Zookeeper   |
| 6         | Hive        |
| 7         | HBase       |
| 8         | Spark       |
+-----------+-------------+--+
8 rows selected (0.314 seconds)
0: jdbc:hive2://localhost:10000/default>

默认用户名、密码不验证,可以随便输入。

(2)远程模式

[root@node2 ~]#/usr/lib/hive/bin# ./beeline
Beeline version 1.2.1000.2.4.3.0-227 by Apache Hive
beeline> !connect jdbc:hive2://192.168.1.158:10000/default
Connecting to jdbc:hive2://192.168.1.158:10000/default
Enter username for jdbc:hive2://192.168.1.158:10000/default: root
Enter password for jdbc:hive2://192.168.1.158:10000/default: ******
Connected to: Apache Hive (version 1.2.1000.2.4.3.0-227)
Driver: Hive JDBC (version 1.2.1000.2.4.3.0-227)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://192.168.1.158:10000/default> show tables;
+-----------+--+
| tab_name  |
+-----------+--+
| goods     |
+-----------+--+
1 row selected (0.265 seconds)
0: jdbc:hive2://192.168.1.158:10000/default> select * from goods;
+-----------+-------------+--+
| goods.id  | goods.name  |
+-----------+-------------+--+
| 1         | Java        |
| 2         | Java EE     |
| 3         | Android     |
| 4         | Hadoop      |
| 5         | Zookeeper   |
| 6         | Hive        |
| 7         | HBase       |
| 8         | Spark       |
+-----------+-------------+--+
8 rows selected (0.53 seconds)
0: jdbc:hive2://192.168.1.158:10000/default> root@tdh02:/usr/lib/hive/bin# ./beeline
Beeline version 1.2.1000.2.4.3.0-227 by Apache Hive
beeline>

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏我是攻城师

CDH-Hadoop2.6+ Apache Pig0.15安装记录

3475
来自专栏知识分享

关于STM32空闲中断

有一次做一个东西,为了尽量不占用CPU的处理数据时间,所以就使用DMA接收串口的数据,但是呢问题来了.,,,,,怎么样才能确定接收到了一条完整的数据了,,我们都...

3388
来自专栏Hadoop实操

如何通过Cloudera Manager配置Spark1和Spark2的运行环境

大部分用户在使用CDH集群做Spark开发的时候,由于开发环境的JDK版本比CDH集群默认使用的JDK1.7.0_67-cloudera版本新,可能会出现Spa...

6697
来自专栏Hadoop实操

Sqoop抽数到Hive表异常分析(之二)

使用Sqoop抽取MySQL数据到Hive表时,抽取语句正常执行在数据Load到Hive表时报“Operation category READ is not s...

1273
来自专栏闵开慧

hadoop关注点

Browser Interface A typical HDFS install configures a web server to expose the H...

2739
来自专栏Hadoop实操

如何在Kerberos环境下的CDH集群部署Spark1.6 Thrift及spark-sql客户端

2063
来自专栏Hadoop实操

如何使用Hue创建Spark2的Oozie工作流(补充)

目前Oozie 的 SparkAction 仅支持Spark1.6, 而并不支持Spark2, 这是 CDH Spark2已知的局限性(https://www....

8986
来自专栏Hadoop实操

如何使用R连接Hive与Impala

继之前的文章讲述如何在Redhat中配置R环境和如何在Redhat中安装R的包及搭建R的私有源后,那我们如何使用R连接CDH集群中的Hive和Impala进行数...

5176
来自专栏牛肉圆粉不加葱

Spark Streaming + Kakfa 编程指北

本文简述如何结合 Spark Streaming 和 Kakfa 来做实时计算。截止目前(2016-03-27)有两种方式:

964
来自专栏Hadoop实操

Impala的Short-Circuit Reads

我们知道读取HDFS的数据需要通过DataNode。当客户端找DataNode读取数据时,DataNode会首先从磁盘中读取文件,然后通过TCP socket将...

5098

扫码关注云+社区