前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >非Kerberos环境下Hive2.2.0 On Tez集成

非Kerberos环境下Hive2.2.0 On Tez集成

作者头像
Fayson
发布2018-09-29 10:48:13
1K0
发布2018-09-29 10:48:13
举报
文章被收录于专栏:Hadoop实操

1.文档编写目的


在前面的文章《如何在CDH集群中安装Hive2.3.3》、《如何为Hive2启用Kerberos认证》及《Hive2.2.0如何与CDH集群中的Spark1.6集成》Fayson介绍了Hive2的安装与Spark集成以及如何启用Kerberos,本篇文章Fayson主要介绍如何在非Kerberos环境下为Hive2.2.0配置Tez计算引擎。

  • 本次Fayson的测试环境为

1.CM和CDH版本为5.15

2.Redhat7.3

3.JDK1.8.0_141

4.Hive版本为2.2.0

5.Tez版本为0.8.5

2.环境准备


1.Tez版本选择

对于Tez版本0.8.3及更高版本需要Apache Hadoop2.6.0或更高版本。对于Tez版本为0.9.0及更高版本则需要Apache Hadoop2.7或更高版本。在CDH集群中使用的Hadoop版本为2.6.0,所以这里选择Tez的版本为0.8.5。

2.在Apache官网下载Tez包,下载地址如下:

代码语言:javascript
复制
http://mirror.bit.edu.cn/apache/tez/0.8.5/apache-tez-0.8.5-bin.tar.gz

(可左右滑动)

将apache-tez-0.8.5-bin.tar.gz压缩包下载至Hive2服务所在服务器

将下载好的压缩包解压至当前目录

代码语言:javascript
复制
[root@cdh01 tez-0.8.5]# tar -zxvf apache-tez-0.8.5-bin.tar.gz

(可左右滑动)

3.Hive2集成Tez


1.将apache-tez-0.8.5-bin/share目录下的压缩包部署至HDFS上

代码语言:javascript
复制
[root@cdh01 tez-0.8.5]# cd apache-tez-0.8.5-bin/share/
[root@cdh01 share]# hadoop fs -mkdir -p /engine/tez-0.8.5/
[root@cdh01 share]# hadoop fs -put tez.tar.gz /engine/tez-0.8.5/
[root@cdh01 share]# hadoop fs -chmod -R 777 /engine
[root@cdh01 share]# hadoop fs -ls /engine/tez-0.8.5

(可左右滑动)

2.在{HIVE_HOME}/conf目录下创建tez-site.xml文件,内容如下:

代码语言:javascript
复制
[root@cdh04 conf]# vim tez-site.xml 
<configuration>
    <property>
        <name>tez.lib.uris</name>
        <value>/engine/tez-0.8.5/tez.tar.gz</value>
    </property>
</configuration>

(可左右滑动)

注意:tez.lib.uris配置的路径为上一步tez.tar.gz压缩包部署的HDFS路径。同样tez-site.xml文件需要拷贝至HiveServer2和HiveMetastore服务所在节点的相应目录下。

3.将apache-tez-0.8.5-bin/share目录下的tez.tar.gz压缩包解压当前lib目录下

代码语言:javascript
复制
[root@cdh01 tez-0.8.5]# cd apache-tez-0.8.5-bin/
[root@cdh01 apache-tez-0.8.5-bin]# cd share/
[root@cdh01 share]# ll
[root@cdh01 share]# mkdir lib
[root@cdh01 share]# tar -zxvf tez.tar.gz -C lib/

(可左右滑动)

4.将lib和lib/lib目录下的所有jar包拷贝至{HIVE_HOME}/lib目录下

代码语言:javascript
复制
[root@cdh01 lib]# pwd
/data/disk1/tez-0.8.5/apache-tez-0.8.5-bin/share/lib
[root@cdh01 lib]# scp -r *.jar /opt/cloudera/HIVE2/lib/
[root@cdh01 lib]# scp -r lib/*.jar /opt/cloudera/HIVE2/lib/
[root@cdh01 lib]# ll /opt/cloudera/HIVE2/lib/tez-*

(可左右滑动)

注意:Tez的依赖包需要拷贝至HiveServer2和HiveMetastore服务所在节点的相应目录下。

5.完成如上操作后,重启HiveServer和HiveMetastore服务

代码语言:javascript
复制
[root@cdh04 ~]# hive2
[root@cdh04 ~]# netstat -apn |grep 9083
[root@cdh04 ~]# hive2-server 
[root@cdh04 ~]# netstat -apn |grep 10000

(可左右滑动)

hive2和hive2-server命令在环境变量中配置了别名:

4.Hive2 On Tez测试


1.使用hive命令测试

代码语言:javascript
复制
[root@cdh04 ~]# sudo -u hive /opt/cloudera/HIVE2/bin/hive --hiveconf hive.root.logger=INFO,console
hive> SET hive.tez.container.size=3020;
hive> set hive.execution.engine=tez;
hive> select count(*) from test;

(可左右滑动)

2.使用Beeline测试

代码语言:javascript
复制
[root@cdh04 ~]# /opt/cloudera/HIVE2/bin/beeline
beeline> !connect jdbc:hive2://cdh04.fayson.com:10000 hive hive
0: jdbc:hive2://cdh04.fayson.com:10000> SET hive.tez.container.size=3020;
0: jdbc:hive2://cdh04.fayson.com:10000> set hive.execution.engine=tez;
0: jdbc:hive2://cdh04.fayson.com:10000> select count(*) from test;

(可左右滑动)

插入数据成功:

3.访问Yarn的8080界面可以看到作业类型为TEZ

5.常见异常


1.使用Beeline访问是提示不允许使用root用户模拟hive访问

原因:Fayson这里启动Hive服务使用的为root用户。

如下两种解决方式:

  • 使用hive用户启动HiveServer2和HiveMetastore服务
  • 在HDFS的core-site.xml配置文件中增加如下配置
代码语言:javascript
复制
<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>

(可左右滑动)

修改完成后回到CM根据提示重启所有服务。

2.设置为tez引擎后,执行SQL报错

异常原因:在Hive使用Tez引擎是,Tez使用hive.tez.container.size参数生成一个Mapper,在Hive中该参数默认配置为-1。

解决方法:

  • 在hive-site.xml配置中增加该参数并设置为Yarn容器yarn.scheduler.minimum-allocation-mb相同或1到2倍,但不能大于yarn.scheduler.maximum-allocation-mb。
  • 在执行SQL在动态的设置set hive.tez.container.size=4096

6.总结


1.Hive2 On Tez集成时需要确认Hadoop的版本,根据Hadoop的版本选择支持的Tez版本。

2.Hive2集成Tez时需要注意你HiveServer2和HiveMetastore服务是否在同一个节点上,如果不在同一个节点上tez-site.xml和依赖包需要拷贝至服务所在节点的相应目录下。

3.在本篇文章虽然在非Kerberos环境的Hive2中成功的集成了Tez0.8.5,但官网默认编译的版本在CDH中会有依赖的问题,可能会导致MR作业不能正常使用且在Kerberos环境下不能正常使用的问题,在后面的文章Fayson会介绍如何编译一个CDH依赖的Tez并集成。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-08-30,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
专用宿主机
专用宿主机(CVM Dedicated Host,CDH)提供用户独享的物理服务器资源,满足您资源独享、资源物理隔离、安全、合规需求。专用宿主机搭载了腾讯云虚拟化系统,购买之后,您可在其上灵活创建、管理多个自定义规格的云服务器实例,自主规划物理资源的使用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档