Apache Hive 安装详解及相关问题解决方案

摘 要

本文介绍hive工具的安装及整合mysql

下载Hive

点击hive官方下载

hive目前两个运行版本分为两个分支:1.x 、2.x

1.x主要是运行在MapReduce上面。

2.x主要运行在Spark上面。

安装及配置

  1. 上传并解压Hive

将Hive上传到hadoop集群服务器/itunic/目录下,并解压到当前目录。

tar -zxvf apache-hive-1.2.1-bin.tar.gz

2.将hive配置到环境变量

vi /etc/profile
#set hive env
export HIVE_HOME=/itunic/hive
export PATH=${HIVE_HOME}/bin:$PATH
#让环境变量生效
source /etc/profile

3.修改Hive配置文件

修改hive-env.sh文件

进入${HIVE_HOME}/conf/目录下,执行:

#将hive-env 模板文件复制一份
cp hive-env.sh.template hive-env.sh
#复制完成后进入该文件的编辑模式
vi hive-env.sh
#将以下内容写入到hive-env.sh文件中
#jdk的安装目录
export JAVA_HOME=/itunic/jdk
#hadoop的安装目录
export HADOOP_HOME=/itunic/hadoop
#hive的安装目录
export HIVE_HOME=/itunic/hive
  • 修改log4j文件

进入${HIVE_HOME}/conf/目录下,执行:

#copy hive-log4j模板文件
cp hive-log4j.properties.template hive-log4j.properties
#编辑该文件
vi hive-log4j.properties
#将EventCounter修改成org.apache.hadoop.log.metrics.EventCounter
#log4j.appender.EventCounter=org.apache.hadoop.hive.shims.HiveEventCounter
log4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter
  • 整合Mysql

由于hive自身的derby模式,只运行有一个Session连接。在多人使用hive的时候,会造成线程不安全问题。这里我们采取将于mysql整合,把hive的元数据保存进mysql。因为mysql本身支持多session,这样就可以避免多人使用hive时,造成的线程不安全问题。

进入${HIVE_HOME}/conf/目录下,执行:

  1. vi hive-site.xml

将以下信息写入到hive-site.xml文件中

<configuration>
 <property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>root</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <value>root</value>
 </property>
</configuration>

6.copy Mysql 驱动

安装hive和mysq完成后,将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下

7.启动hive

bin/hive

附录

1.如果报错Terminal initialization failed; falling back to unsupported

将${HIVE_HOME}/lib 里面的jline2.12替换了hadoop 中${HADOOP_HOME}/share/hadoop/yarn/lib/jline-0.09*.jar

2.如果启动hive报mysql没有权限,在mysql授权(在安装mysql的机器上执行)

mysql -uroot -p
#(执行下面的语句  *.*:所有库下的所有表   %:任何IP地址或主机都可以连接)
GRANT ALL PRIVILEGES ON *.* TO 'root'@'localhost' IDENTIFIED BY 'root' WITH GRANT OPTION;
FLUSH PRIVILEGES;

3.如果抛出异常

Logging initialized using configuration in jar:file:/itunic/apache-hive-2.0.0-bin/lib/hive-common-2.0.0.jar!/hive-log4j2.properties
Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType ...) to create the schema. If needed, don't forget to include the option to auto-create the underlying database in your JDBC connection string (e.g. ?createDatabaseIfNotExist=true for mysql)

则需要执行以下命令即可解决

schematool -dbType mysql -initSchema

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序之美

docker运行容器远程挂载卷

862
来自专栏运维

Gentoo Linux x86快速安装指南对grub引导不成功的补救措施

Gentoo Linux x86快速安装指南 参考文档如下: http://www.gentoo.org/doc/zh_cn/gentoo-x86-quick...

673
来自专栏闵开慧

Missing Hive Execution Jar: /.../hive-exec-*.jar

运行hive时显示Missing Hive Execution Jar: /usr/hive/hive-0.11.0/bin/lib/hive-exec-*....

3245
来自专栏Java开发者杂谈

将spring源码导入到eclipse中

前置条件: 1. 正确安装jdk,并配置好JAVA_HOME、PATH。(我这里安装的是jdk1.8) 2. 正确安装好eclipse。(我的eclipse版本...

2667
来自专栏Java Edge

Mac环境下安装启动Tomcat

1903
来自专栏云计算

给Spring开发者的Docker备忘录

我最近一直在结合Docker来部署Spring Boot应用。Docker非常酷。我已经学习到很多关于它的知识。

2006
来自专栏电光石火

Tomcat 端口号修改

   在默认情况下,tomcat的端口是8080,如果出现8080端口号冲突,用如下方法可以修改Tomcat的端口号:

16510
来自专栏电光石火

Tomcat 端口号修改

修改Tomcat的端口号:    在默认情况下,tomcat的端口是8080,如果出现8080端口号冲突,用如下方法可以修改Tomcat的端口号: 首先: 在T...

1956
来自专栏Java Edge

从0开始的云服务器Java项目环境部署实践(CentOS6.8)目录安装(CentOS6.8)Redis单实例配置单实例服务端启动单实例客户端的启动Redis单实例服务端及客户端关闭Redis单实例环

3427
来自专栏Albert陈凯

P03_Hive 安装

安装hive包 [CDH下载地址](http://archive.cloudera.com/cdh5/cdh/5/) 1、将hive-0.13.1-cdh5.3...

2676

扫码关注云+社区