如何为Hive2启用Kerberos认证

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

Fayson的github: https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的


在前面的文章Fayson介绍了《如何在CDH集群中安装Hive2.3.3》,本篇文章Fayson主要介绍如何为已安装好的Hive2服务启用Kerberos认证。

  • 内容概述:

1.部署环境说明

2.添加Kerberos配置

3.验证Kerberos认证

4.总结

  • 测试环境:

1.CM和CDH版本为5.14.2

2.操作系统为RedHat7.3

3.操作用户root

4.集群已启用Kerberos

5.Hive2.3.3

  • 前置条件:

1.Hive2.3.3服务已安装部署

2.环境部署说明


Hive2.3.3服务的HiveMetastore和HiveServer2的部署说明

cdh02.fayson.com

HiveMetastore

cdh03.fayson.com

HiveServer2

1.创建cdh02和cdh03节点的Kerberos账号

kadmin.local -q "addprinc -randkey hive/cdh02.fayson.com@FAYSON.COM"
kadmin.local -q "addprinc -randkey hive/cdh03.fayson.com@FAYSON.COM"

(可左右滑动)

2.将创建的两个Kerberos账号导出为Keytab文件

kadmin.local -q "xst -norandkey -k hivemetastore.keytab hive/cdh02.fayson.com@FAYSON.COM"
kadmin.local -q "xst -norandkey -k hiveserver2.keytab hive/cdh03.fayson.com@FAYSON.COM"

(可左右滑动)

3.将生成的两个keytab文件分别拷贝至cdh02和cdh03节点

将hivemetastore.keytab拷贝至cdh02.fayson.com节点的/opt/cloudera/hive2.3.3/keytab目录并重命名为hive.keytab,若目录不存则创建,并将hive.keytab文件的属组修改为hive

将hiveserver2.keytab拷贝至cdh03.fayson.com节点的/opt/cloudera/hive2.3.3/keytab目录并重命名为hive.keytab,若目录不存则创建,并将hive.keytab文件的属组修改为hive

3.修改hive-site.xml配置


1.在hive-stie.xml配置文件中增加HiveMestastore和HiveServer2的Kerberos配置

<!--HiveMetastore服务的Kerberos配置信息 -->
<property>
  <name>hive.metastore.sasl.enabled</name>
  <value>true</value>
</property>
<property>
  <name>hive.metastore.kerberos.principal</name>
  <value>hive/_HOST@FAYSON.COM</value>
</property>
<property>
  <name>hive.metastore.kerberos.keytab.file</name>
  <value>/opt/cloudera/hive2.3.3/keytab/hive.keytab</value>
</property>

<!--HiveServer2服务的Kerberos配置信息 -->
<property>
  <name>hive.server2.authentication</name>
  <value>KERBEROS</value>
</property>
<property>
  <name>hive.server2.authentication.kerberos.principal</name>
  <value>hive/_HOST@FAYSON.COM</value>
</property>
<property>
  <name>hive.server2.authentication.kerberos.keytab</name>
  <value>/opt/cloudera/hive2.3.3/keytab/hive.keytab</value>
</property>

(可左右滑动)

将修改后的hive-site.xml配置文件,拷贝至hive2的所有部署节点

2.完成如上配置后,在cdh02.fayosn.com节点重新启动HiveMetastore服务

[root@cdh02 bin]# sudo -u hive ./hive --service metastore > ../logs/metastore.log 2>&1 &

(可左右滑动)

3.在cdh03.fayson.com节点上重新启动HiveServer2服务

[root@cdh03 bin]# sudo -u hive ./hive --service hiveserver2 > ../logs/hiveserver2.log 2>&1 &

(可左右滑动)

4.验证Hive2服务


1.在未kinit账号的情况下使用beeline访问Hive2

2.使用fayson账号进行kinit操作,通过beeline访问Hive2

[root@cdh03 bin]# kinit fayson
Password for fayson@FAYSON.COM: 
[root@cdh03 bin]# ./beeline 
Beeline version 2.3.3 by Apache Hive
beeline> !connect jdbc:hive2://cdh03.fayson.com:10000/;principal=hive/cdh03.fayson.com@FAYSON.COM

(可左右滑动)

通过如上测试,则表示Hive2服务已成功启用了Kerberos。

5.总结


1.在CDH集群中默认已安装了Hive1服务,并默认为hive用户添加了hadoop的proxyuser,所以我们在为Hive2服务启用Kerberos时默认使用hive即可,如果不使用hive用户则需要在core-site.xml中添加该用户的proxyuser

2.在该篇文章中,选择了两个节点分别作为HiveMetastore和HiveServer2服务,是为了区分开各个服务的keytab文件,与CDH集群中keytab使用方式一致。

3.文中使用的hive用户启动Hive2服务,需要注意hive用户对hive.keytab文件的读写权限。

4.本篇文章的配置是在《如何在CDH集群中安装Hive2.3.3》基础上进行配置。

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-07-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏分布式系统和大数据处理

安装和配置Hive

直接通过MapReduce来对存储在Hadoop HDFS上的数据进行查询和分析比较繁琐而且还需要编程。Hive是一个数据仓库系统,构建在HDFS之上,它提供了...

35230
来自专栏Hadoop实操

如何使用StreamSets实时采集Kafka数据并写入Hive表

91420
来自专栏Hadoop实操

Sentry赋予server1权限给hive以外用户时ACL不同步问题分析

在使用Sentry赋予server1所有权限给hive以外的用户时(如:fayson用户默认用户组也是fayson),通过Hue使用fayson用户登录,Sen...

59150
来自专栏Hadoop实操

Cloudera Manager分发Parcel异常分析

在使用Cloudera Manager分发Parcel包时一直处于激活状态不变,相关CM日志及CM界面截图如下:

98470
来自专栏Hadoop实操

如何编译适用于CDH的Tez版本并集成Kerberos环境的Hive2

在上一篇文章Fayson介绍了《非Kerberos环境下Hive2.2.0 On Tez集成》,使用Apache官网默认编译好的0.8.5版本的Tez,默认的版...

59620
来自专栏Hadoop实操

在同时使用Hive+Sentry,因HMS死锁导致的高并发写入工作负载时,查询速度缓慢或者停滞

18350
来自专栏有困难要上,没有困难创造困难也要上!

Hadoop3-分布式模式安装

31050
来自专栏Hadoop实操

如何禁用CDH集群Kerberos

73560
来自专栏Hadoop实操

如何为Spark应用启用Kerberos的Debug日志

在CDH集群启用了Kerberos后,在执行Spark作业时难免会遇到由于Kerberos认证问题导致作业运行失败的时候,那我们需要针对Spark作业进行调试,...

45230
来自专栏云计算教程系列

在腾讯云CVM上搭建Hadoop集群

本教程将介绍如何在腾讯云CVM上搭建Hadoop集群。Hadoop中是一个Apache的框架,可以让你通过基本的编程处理跨服务器集群的分布式方式的大型数据集。H...

27540

扫码关注云+社区

领取腾讯云代金券