如何编译适用于CDH的Tez版本并集成Kerberos环境的Hive2

Fayson

发布于 2018-09-29 10:53:07

2K0

发布于 2018-09-29 10:53:07

1.文档编写目的

在上一篇文章Fayson介绍了《非Kerberos环境下Hive2.2.0 On Tez集成》，使用Apache官网默认编译好的0.8.5版本的Tez，默认的版本使用的依赖包是开源的Hadoop依赖，当与CDH集群的Hive2集成时会有依赖包版本问题，导致Hive2的MR不能使用以及Kerberos环境下执行异常问题。在官网提供了编译Tez的方法，本篇文章Fayson主要介绍如何编译一个适用于CDH集群的Tez并与Kerberos环境下的Hive2.2.0集成。

在学习本篇文章内容你还需要知道：

《如何在CDH集群中安装Hive2.3.3》

《如何为Hive2启用Kerberos认证》

《Hive2.2.0如何与CDH集群中的Spark1.6集成》

《非Kerberos环境下Hive2.2.0 On Tez集成》

文章概述

1.环境准备及编译

2.集成Kerberos环境Hive2及测试

3.总结

本次Fayson的测试环境为

1.CM和CDH版本为5.15

2.Redhat7.3

3.JDK1.8.0_141

4.Hive版本为2.2.0

5.Tez版本为0.8.5

2.编译环境准备

这一步的环境准备，主要是用于编译Tez，准备一台可以访问外网环境的集群，配置编译Tez的依赖环境：

JDK8或更高版本
Maven3或更高版本
Protobuf2.5.0(注意：必须为这个版本)

1.配置JDK8环境变量

export JAVA_HOME=/usr/java/jdk1.8.0_131
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$CLASSPATH

（可左右滑动）

验证Java环境

2.配置Maven环境

export MVN_HOME=/usr/local/maven
export PATH=$MVN_HOME/bin:$PATH

（可左右滑动）

验证Maven环境

3.安装编译环境依赖的OS包

[root@cdh05 build-tools]# yum -y install gcc gcc-c++ libstdc++-devel make build

（可左右滑动）

4.安装Protobuf2.5.0，需要通过源码的方式编译安装

下载Protobuf2.5.0的源码包，地址如下：

https://github.com/protocolbuffers/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz

（可左右滑动）

将下载下来的protobuf-2.5.0.tar.gz解压，进入protobuf-2.5.0目录

[root@cdh05 tez-0.8.5]# tar -zxvf protobuf-2.5.0.tar.gz 
[root@cdh05 tez-0.8.5]# cd protobuf-2.5.0/

（可左右滑动）

执行如下命令编译并安装

[root@cdh05 protobuf-2.5.0]# ./configure
[root@cdh05 protobuf-2.5.0]# make & make install

（可左右滑动）

验证是否安装成功

[root@cdh05 tez-0.8.5]# protoc --version

（可左右滑动）

3.编译Tez0.8.5

1.从Apache官网或GitHub上下载0.8.5版本的源码包地址如下：

http://apache.claz.org/tez/0.8.5/apache-tez-0.8.5-src.tar.gz
https://github.com/apache/tez/archive/rel/release-0.8.5.tar.gz

（可左右滑动）

以上两个地址任意选择一个即可

2.将下载的release-0.8.5.tar.gz解压

[root@cdh05 tez-0.8.5]# tar -zxvf release-0.8.5.tar.gz

（可左右滑动）

3.进入tez-rel-release-0.8.5修改pom.xml文件，主要是将Hadoop的依赖修改为CDH提供的依赖及去掉tez-ui的模块

将hadoop.version的版本修改为自己CDH的版本，Fayson使用的CDH版本为5.15.0，所以这里的版本号为2.6.0-cdh5.15.0

在pom.xml文件中添加Cloudera的Maven仓库地址，内容如下：

<repositories>
  <repository>
    <id>cloudera</id>
    <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    <name>Cloudera Repositories</name>
    <snapshots>
      <enabled>false</enabled>
    </snapshots>
  </repository>
</repositories>

<pluginRepositories>
  <pluginRepository>
    <id>cloudera</id>
    <name>Cloudera Repositories</name>
    <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
  </pluginRepository>
</pluginRepositories>

（可左右滑动）

屏蔽tez-ext-service-tests、tez-ui、tez-ui2三个模块暂不做编译

修改完成功后保存配置文件。

4.修改tez-mapreduce模块下的源码文件

[root@cdh05 tez-rel-release-0.8.5]# vi tez-mapreduce/src/main/java/org/apache/tez/mapreduce/hadoop/mapreduce/JobContextImpl.java

（可左右滑动）

在JobContexImpl.java类最后增加如下方法：

/**
 * Get the boolean value for the property that specifies which classpath
 * takes precedence when tasks are launched. True - user's classes takes
 * precedence. False - system's classes takes precedence.
 * @return true if user's classes should take precedence
 */
 @Override
public boolean userClassesTakesPrecedence() {
  return getJobConf().getBoolean(MRJobConfig.MAPREDUCE_JOB_USER_CLASSPATH_FIRST, false);
}

（可左右滑动）

5.完成如上操作后，在/data/disk1/tez-rel-release-0.8.5目录下执行如下命令进行编译

[root@cdh05 tez-rel-release-0.8.5]# mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true

（可左右滑动）

如上图所示表示Tez编译成功。

4.Hive2集成Tez

集群是Kerberos环境的，这里需要先Kinit下

2.将tez-dist/target目录下的tez-0.8.5.tar.gz压缩包部署至HDFS上

[root@cdh05 tez-rel-release-0.8.5]# cd tez-dist/target
[root@cdh05 target]# hadoop fs -mkdir -p /engine/tez-0.8.5/
[root@cdh05 target]# hadoop fs -put tez-0.8.5.tar.gz /engine/tez-0.8.5/
[root@cdh05 target]# hadoop fs -chmod -R 777 /engine
[root@cdh05 target]# hadoop fs -ls /engine/tez-0.8.5

（可左右滑动）

2.在{HIVE_HOME}/conf目录下创建tez-site.xml文件，内容如下：

[root@cdh04 conf]# vim tez-site.xml 
<configuration>
    <property>
        <name>tez.lib.uris</name>
        <value>/engine/tez-0.8.5/tez-0.8.5.tar.gz</value>
    </property>
</configuration>

（可左右滑动）

注意：tez.lib.uris配置的路径为上一步tez-0.8.5.tar.gz压缩包部署的HDFS路径。同样tez-site.xml文件需要拷贝至HiveServer2和HiveMetastore服务所在节点的相应目录下。

3.将tez-dist/target/tez-0.8.5目录下和lib目录下的所有jar包拷贝至{HIVE_HOME}/lib目录下

[root@cdh05 tez-0.8.5]# pwd
/data/disk1/tez-release-0.8.5-rc1/tez-dist/target/tez-0.8.5
[root@cdh04 tez-0.8.5]# scp -r *.jar /opt/cloudera/HIVE2/lib/
[root@cdh04 tez-0.8.5]# scp -r lib/*.jar /opt/cloudera/HIVE2/lib/
[root@cdh04 tez-0.8.5]# ll /opt/cloudera/HIVE2/lib/tez-*

（可左右滑动）

注意：将编译好的tez-dist/target/tez-0.8.5目录拷贝至Hive2服务的部署节点上，然后再将tez-0.8.5目录及lib目录下的所有Jar包拷贝至{HIVE_HOME}/lib目录下。

4.完成如上操作后，重启HiveServer和HiveMetastore服务

[root@cdh04 ~]# hive2
[root@cdh04 ~]# netstat -apn |grep 9083
[root@cdh04 ~]# hive2-server 
[root@cdh04 ~]# netstat -apn |grep 10000

（可左右滑动）

hive2和hive2-server命令在环境变量中配置了别名：

5.Hive2 On Tez测试

1.Kerberos环境，在命令行进行Kinit操作

2.使用hive命令测试

[root@cdh04 ~]# /opt/cloudera/HIVE2/bin/hive
hive> SET hive.tez.container.size=3020;
hive> set hive.execution.engine=tez;
hive> select count(*) from test;

（可左右滑动）

3.使用Beeline测试

[root@cdh04 ~]# beeline2
Beeline version 2.2.0 by Apache Hive
beeline> !connect jdbc:hive2://cdh04.fayson.com:10000/;principal=hive/cdh04.fayson.com@FAYSON.COM
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://cdh04.fayson.com:10000/> SET hive.tez.container.size=3020;
0: jdbc:hive2://cdh04.fayson.com:10000/> set hive.execution.engine=tez;
0: jdbc:hive2://cdh04.fayson.com:10000/> select count(*) from test;

（可左右滑动）