1. Hive的安装模式
Hive官网上介绍了Hive的3种安装方式,分别对应不同的应用场景。
1、内嵌模式(元数据保村在内嵌的数据库derby种,允许一个会话链接,尝试多个会话链接时会报错)
2、本地模式(本地安装mysql 替代derby存储元数据)
3、远程模式(远程安装mysql 替代derby存储元数据)
2. Hive的内嵌模式
此模式连接到一个In-memory 的数据库Derby,一般用于Unit Test。架构图如下:
3. Hive的本地模式
通过网络连接到一个数据库中,是最经常使用到的模式。架构图如下:
4.Hive的远程服务器模式
远程服务器模式。用于非Java客户端访问元数据库,在服务器端启动MetaStoreServer,客户端利用Thrift协议通过MetaStoreServer访问元数据库
5. Hive1.2.1内嵌模式安装
1. 基础环境确认,单机安装hive之前需要安装如下软件:
hadoop版本:2.6.4
JDK版本:1.8.0_92
2. 下载Hive1.2.1,下载地址:
http://archive.apache.org/dist/hive/
3. 将下载的hive压缩包上传到linux的目录下,这里以上传到“/home/project/soft/hive”地址为例。
4. 当前目录下解压压缩包,命令如下:
5.配置环境变量
vi /etc/profile
export HIVE_HOME=/home/project/soft/hive/apache-hive-1.2.1-bin
export PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH
wp! 退出
source /etc/profile
6. 修改配置文件hive-env.sh
先切换到hive下的conf目录下
cd apache-hive-1.2.1-bin/conf/
然后:vim hive-env.sh。去掉以下参数之前的#号,然后改成相关值:
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/home/project/soft/hadoop/hadoop-2.6.4
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/home/project/soft/hive/apache-hive-1.2.1-bin/conf
# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=/home/project/soft/hive/apache-hive-1.2.1-bin/lib
7. 修改hive-site.xml
在hive的安装目录下,创建datatmp文件夹
mkdir datatmp
然后在该文件夹下再创建oplog文件夹
cd datatmp
mkdir oplog
cd ../conf/切换到conf目录下:
然后,修改hive-site.xml文件中的如下参数
/home/project/soft/hive/apache-hive-1.2.1-bin/datatmp
Local scratch space for Hive jobs
/home/project/soft/hive/apache-hive-1.2.1-bin/datatmp/$_resources
Temporary local directory for added resources in the remote file system.
/home/project/soft/hive/apache-hive-1.2.1-bin/datatmp
Location of Hive run time structured log file
/home/project/soft/hive/apache-hive-1.2.1-bin/datatmp/oplog
Top level directory where operation logs are stored if logging functionality is enabled
8. 修改配置文件hive-config.sh
cd ../bin
vi hive-config.sh
配置示例如下所示:
export JAVA_HOME=/usr/java/jdk1.8.0_92
export HADOOP_HOME=/home/project/soft/hadoop/hadoop-2.6.4
export HIVE_HOME=/home/project/soft/hive/apache-hive-1.2.1-bin
9. 在HDFS上创建Hive仓库的目录
注:这些路径是在hive-site.xml里配置的默认路径,以下命令不能更改任何数据
首先切换到hadoop的安装目录的bin子目录下,然后执行如下命令:
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse
10 替换 jline.jar 包
首先切换到hive的安装目录下的lib子目录下:
cp jline-2.12.jar /home/project/soft/hadoop/hadoop-2.6.4/share/hadoop/yarn/lib
rm -rf /home/project/soft/hadoop/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar
11. 控制台命令行方式启动hive
切换到hive的bin目录下:
cd ../bin/
然后使用如下命令:
hive
测试:
hive> show tables;
OK
Time taken: 0.9 seconds
12. 开发模式启动hive
在bin目录下,执行如下命令:
领取专属 10元无门槛券
私享最新 技术干货