非Kerberos环境下Hive2.2.0 On Tez集成
非Kerberos环境下Hive2.2.0 On Tez集成
1.文档编写目的
在前面的文章《如何在CDH集群中安装Hive2.3.3》、《如何为Hive2启用Kerberos认证》及《Hive2.2.0如何与CDH集群中的Spark1.6集成》Fayson介绍了Hive2的安装与Spark集成以及如何启用Kerberos，本篇文章Fayson主要介绍如何在非Kerberos环境下为Hive2.2.0配置Tez计算引擎。
- 本次Fayson的测试环境为
1.CM和CDH版本为5.15
2.Redhat7.3
3.JDK1.8.0_141
4.Hive版本为2.2.0
5.Tez版本为0.8.5
2.环境准备
1.Tez版本选择
对于Tez版本0.8.3及更高版本需要Apache Hadoop2.6.0或更高版本。对于Tez版本为0.9.0及更高版本则需要Apache Hadoop2.7或更高版本。在CDH集群中使用的Hadoop版本为2.6.0，所以这里选择Tez的版本为0.8.5。
2.在Apache官网下载Tez包，下载地址如下：
http://mirror.bit.edu.cn/apache/tez/0.8.5/apache-tez-0.8.5-bin.tar.gz（可左右滑动）
将apache-tez-0.8.5-bin.tar.gz压缩包下载至Hive2服务所在服务器
将下载好的压缩包解压至当前目录
[root@cdh01 tez-0.8.5]# tar -zxvf apache-tez-0.8.5-bin.tar.gz（可左右滑动）
3.Hive2集成Tez
1.将apache-tez-0.8.5-bin/share目录下的压缩包部署至HDFS上
[root@cdh01 tez-0.8.5]# cd apache-tez-0.8.5-bin/share/
[root@cdh01 share]# hadoop fs -mkdir -p /engine/tez-0.8.5/
[root@cdh01 share]# hadoop fs -put tez.tar.gz /engine/tez-0.8.5/
[root@cdh01 share]# hadoop fs -chmod -R 777 /engine
[root@cdh01 share]# hadoop fs -ls /engine/tez-0.8.5（可左右滑动）
2.在{HIVE_HOME}/conf目录下创建tez-site.xml文件，内容如下：
[root@cdh04 conf]# vim tez-site.xml
<configuration>
<property>
<name>tez.lib.uris</name>
<value>/engine/tez-0.8.5/tez.tar.gz</value>
</property>
</configuration>（可左右滑动）
注意：tez.lib.uris配置的路径为上一步tez.tar.gz压缩包部署的HDFS路径。同样tez-site.xml文件需要拷贝至HiveServer2和HiveMetastore服务所在节点的相应目录下。
3.将apache-tez-0.8.5-bin/share目录下的tez.tar.gz压缩包解压当前lib目录下
[root@cdh01 tez-0.8.5]# cd apache-tez-0.8.5-bin/
[root@cdh01 apache-tez-0.8.5-bin]# cd share/
[root@cdh01 share]# ll
[root@cdh01 share]# mkdir lib
[root@cdh01 share]# tar -zxvf tez.tar.gz -C lib/（可左右滑动）
4.将lib和lib/lib目录下的所有jar包拷贝至{HIVE_HOME}/lib目录下
[root@cdh01 lib]# pwd
/data/disk1/tez-0.8.5/apache-tez-0.8.5-bin/share/lib
[root@cdh01 lib]# scp -r *.jar /opt/cloudera/HIVE2/lib/
[root@cdh01 lib]# scp -r lib/*.jar /opt/cloudera/HIVE2/lib/
[root@cdh01 lib]# ll /opt/cloudera/HIVE2/lib/tez-*（可左右滑动）
注意：Tez的依赖包需要拷贝至HiveServer2和HiveMetastore服务所在节点的相应目录下。
5.完成如上操作后，重启HiveServer和HiveMetastore服务
[root@cdh04 ~]# hive2
[root@cdh04 ~]# netstat -apn |grep 9083
[root@cdh04 ~]# hive2-server
[root@cdh04 ~]# netstat -apn |grep 10000（可左右滑动）
hive2和hive2-server命令在环境变量中配置了别名：
4.Hive2 On Tez测试
1.使用hive命令测试
[root@cdh04 ~]# sudo -u hive /opt/cloudera/HIVE2/bin/hive --hiveconf hive.root.logger=INFO,console
hive> SET hive.tez.container.size=3020;
hive> set hive.execution.engine=tez;
hive> select count(*) from test;（可左右滑动）
2.使用Beeline测试
[root@cdh04 ~]# /opt/cloudera/HIVE2/bin/beeline
beeline> !connect jdbc:hive2://cdh04.fayson.com:10000 hive hive
0: jdbc:hive2://cdh04.fayson.com:10000> SET hive.tez.container.size=3020;
0: jdbc:hive2://cdh04.fayson.com:10000> set hive.execution.engine=tez;
0: jdbc:hive2://cdh04.fayson.com:10000> select count(*) from test;（可左右滑动）
插入数据成功：
3.访问Yarn的8080界面可以看到作业类型为TEZ
5.常见异常
1.使用Beeline访问是提示不允许使用root用户模拟hive访问
原因：Fayson这里启动Hive服务使用的为root用户。
如下两种解决方式：
- 使用hive用户启动HiveServer2和HiveMetastore服务
- 在HDFS的core-site.xml配置文件中增加如下配置
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>（可左右滑动）
修改完成后回到CM根据提示重启所有服务。
2.设置为tez引擎后，执行SQL报错
异常原因：在Hive使用Tez引擎是，Tez使用hive.tez.container.size参数生成一个Mapper，在Hive中该参数默认配置为-1。
解决方法：
- 在hive-site.xml配置中增加该参数并设置为Yarn容器yarn.scheduler.minimum-allocation-mb相同或1到2倍，但不能大于yarn.scheduler.maximum-allocation-mb。
- 在执行SQL在动态的设置set hive.tez.container.size=4096
6.总结
1.Hive2 On Tez集成时需要确认Hadoop的版本，根据Hadoop的版本选择支持的Tez版本。
2.Hive2集成Tez时需要注意你HiveServer2和HiveMetastore服务是否在同一个节点上，如果不在同一个节点上tez-site.xml和依赖包需要拷贝至服务所在节点的相应目录下。
3.在本篇文章虽然在非Kerberos环境的Hive2中成功的集成了Tez0.8.5，但官网默认编译的版本在CDH中会有依赖的问题，可能会导致MR作业不能正常使用且在Kerberos环境下不能正常使用的问题，在后面的文章Fayson会介绍如何编译一个CDH依赖的Tez并集成。