Hive的三种安装模式简介及12步安装步骤详解

1. Hive的安装模式

Hive官网上介绍了Hive的3种安装方式,分别对应不同的应用场景。

1、内嵌模式(元数据保村在内嵌的数据库derby种,允许一个会话链接,尝试多个会话链接时会报错)

2、本地模式(本地安装mysql 替代derby存储元数据)

3、远程模式(远程安装mysql 替代derby存储元数据)

2. Hive的内嵌模式

此模式连接到一个In-memory 的数据库Derby,一般用于Unit Test。架构图如下:

3. Hive的本地模式

通过网络连接到一个数据库中,是最经常使用到的模式。架构图如下:

4.Hive的远程服务器模式

远程服务器模式。用于非Java客户端访问元数据库,在服务器端启动MetaStoreServer,客户端利用Thrift协议通过MetaStoreServer访问元数据库

5. Hive1.2.1内嵌模式安装

1. 基础环境确认,单机安装hive之前需要安装如下软件:

hadoop版本:2.6.4

JDK版本:1.8.0_92

2. 下载Hive1.2.1,下载地址:

http://archive.apache.org/dist/hive/

3. 将下载的hive压缩包上传到linux的目录下,这里以上传到“/home/project/soft/hive”地址为例。

4. 当前目录下解压压缩包,命令如下:

5.配置环境变量

vi /etc/profile

export HIVE_HOME=/home/project/soft/hive/apache-hive-1.2.1-bin

export PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH

wp! 退出

source /etc/profile

6. 修改配置文件hive-env.sh

先切换到hive下的conf目录下

cd apache-hive-1.2.1-bin/conf/

然后:vim hive-env.sh。去掉以下参数之前的#号,然后改成相关值:

# Set HADOOP_HOME to point to a specific hadoop install directory

HADOOP_HOME=/home/project/soft/hadoop/hadoop-2.6.4

# Hive Configuration Directory can be controlled by:

export HIVE_CONF_DIR=/home/project/soft/hive/apache-hive-1.2.1-bin/conf

# Folder containing extra ibraries required for hive compilation/execution can be controlled by:

export HIVE_AUX_JARS_PATH=/home/project/soft/hive/apache-hive-1.2.1-bin/lib

7. 修改hive-site.xml

在hive的安装目录下,创建datatmp文件夹

mkdir datatmp

然后在该文件夹下再创建oplog文件夹

cd datatmp

mkdir oplog

cd ../conf/切换到conf目录下:

然后,修改hive-site.xml文件中的如下参数

/home/project/soft/hive/apache-hive-1.2.1-bin/datatmp

Local scratch space for Hive jobs

/home/project/soft/hive/apache-hive-1.2.1-bin/datatmp/$_resources

Temporary local directory for added resources in the remote file system.

/home/project/soft/hive/apache-hive-1.2.1-bin/datatmp

Location of Hive run time structured log file

/home/project/soft/hive/apache-hive-1.2.1-bin/datatmp/oplog

Top level directory where operation logs are stored if logging functionality is enabled

8. 修改配置文件hive-config.sh

cd ../bin

vi hive-config.sh

配置示例如下所示:

export JAVA_HOME=/usr/java/jdk1.8.0_92

export HADOOP_HOME=/home/project/soft/hadoop/hadoop-2.6.4

export HIVE_HOME=/home/project/soft/hive/apache-hive-1.2.1-bin

9. 在HDFS上创建Hive仓库的目录

注:这些路径是在hive-site.xml里配置的默认路径,以下命令不能更改任何数据

首先切换到hadoop的安装目录的bin子目录下,然后执行如下命令:

hadoop fs -mkdir /tmp

hadoop fs -mkdir /user/hive/warehouse

hadoop fs -chmod g+w /tmp

hadoop fs -chmod g+w /user/hive/warehouse

10 替换 jline.jar 包

首先切换到hive的安装目录下的lib子目录下:

cp jline-2.12.jar /home/project/soft/hadoop/hadoop-2.6.4/share/hadoop/yarn/lib

rm -rf /home/project/soft/hadoop/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar

11. 控制台命令行方式启动hive

切换到hive的bin目录下:

cd ../bin/

然后使用如下命令:

hive

测试:

hive> show tables;

OK

Time taken: 0.9 seconds

12. 开发模式启动hive

在bin目录下,执行如下命令:

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181204G146DS00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券