前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >0641-5.16.1-如何禁用CDH5.16.1的Kerberos

0641-5.16.1-如何禁用CDH5.16.1的Kerberos

作者头像
Fayson
发布2019-05-29 00:26:21
1.4K0
发布2019-05-29 00:26:21
举报
文章被收录于专栏:Hadoop实操

1

文档编写目的

Fayson在前面的文章介绍了如何为CDH集群启用Kerberos,在集群启用Kerberos后,会对现有环境的部分代码做改造,有些人觉得使用起来不方便,想取消Kerberos。本篇文章Fayson主要介绍如何禁用CDH集群的Kerberos及禁用后对各组件服务的测试。

注意:本文禁用Kerberos属于比较暴力的方式,未在正式成产环境做严格测试,操作方式仅供参考,建议环境为开发/测试/Poc环境。

  • 内容概述

1.集群环境说明

2.禁用Kerberos及启动服务

3.验证服务及各个服务功能

4.总结

  • 测试环境

1.CM和CDH版本为5.16.1

2.集群已启用Kerberos

3.集群已启用Sentry

2

集群环境介绍

1.CDH集群已启用Kerberos

2.禁用前集群HDFS信息

3

禁用Kerberos

1.通过CM停止CDH集群的所有服务

服务停止成功

2.对Zookeeper服务操作

通过CM修改Zookeeper的enableSecurity为false(即取消勾选,保存配置)

取消勾选quorum.auth.enableSasl,保存配置。

查看Zookeeper服务的数据目录

登录服务器将Zookeeper的数据目录下的文件删除

代码语言:javascript
复制
[root@ip-172-31-13-38 shell]# sh ssh_do_all.sh node.list "rm -rf /var/lib/zookeeper/*"

注意:所有Zookeeper的数据目录下文件都要删除。

执行Zookeeper初始化操作

初始化成功

3.修改HDFS配置

修改Hadoop的安全身份验证,保存配置。

代码语言:javascript
复制
hadoop.security.authentication 修改为simple
hadoop.security.authorization 修改为false即取消勾选

修改DataNode的数据目录权限为755,保存配置。

修改DataNode的如下端口,保存配置

代码语言:javascript
复制
dfs.datanode.address 修改为50010
dfs.datanode.http.address 修改为50070

保存修改的配置信息。

4.进入HBase服务修改配置

修改HBase的身份验证,保存配置。

代码语言:javascript
复制
hbase.security.authentication 修改为simple
hbase.security.authorization 修改为false即取消勾选
hbase.thrift.security.qop修改为none

5.Hue服务修改

删除Hue实例中的 “Kerberos Ticket Renewer”服务

删除成功

6.修改Hive配置,如果集群未启用Sentry则跳过此步

代码语言:javascript
复制
<property>
    <name>sentry.hive.testing.mode</name>
    <value>true</value>
</property>

保存配置

7.Kudu服务修改

取消勾选enable_security,保存配置。

8.重启Cloudera Management Service服务

修改完上述配置后,重启Cloudera Management Service 服务

重启成功

4

集群服务启动

1.启动Zookeeper服务

启动成功

Leader选举正常

注意:这里先启动Zookeeper服务。

2.初始化Failover Controller服务的自动故障转移Znode

选择任意一个Failover Controller服务进入,初始化自动故障转移Znode

初始化成功

3.部署客户端配置。

部署成功

4.启动集群剩余服务

启动成功

集群各个服务状态正常

5.CM显示Kerberos已禁用

6.HDFS数据量与禁用Kerberos之前一致

5

服务功能验证

1.HDFS服务验证

查看HDFS文件系统

代码语言:javascript
复制
[root@ip-172-31-13-38 shell]# klist
[root@ip-172-31-13-38 shell]# hadoop fs -ls /

向集群put文件及查看

代码语言:javascript
复制
[root@ip-172-31-13-38 shell]# ls
[root@ip-172-31-13-38 shell]# hadoop fs -put a.sh /tmp
[root@ip-172-31-13-38 shell]# hadoop fs -ls /tmp
[root@ip-172-31-13-38 shell]# hadoop fs -cat /tmp/a.sh

在未Kinit的情况下正常使用Hadoop命令

2.Hive服务验证

使用Hive CLI访问Hive,执行SQL查询及Count操作

使用Beeline方式访问Hive

代码语言:javascript
复制
[root@ip-172-31-13-38 shell]# beeline
beeline> !connect jdbc:hive2://localhost:10000
scan complete in 2ms
Connecting to jdbc:hive2://localhost:10000
Enter username for jdbc:hive2://localhost:10000: hive
Enter password for jdbc:hive2://localhost:10000: 
Connected to: Apache Hive (version 1.1.0-cdh5.16.1)
Driver: Hive JDBC (version 1.1.0-cdh5.16.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://localhost:10000>  select * from test;
0: jdbc:hive2://localhost:10000> select count(*) from test;

其他组件如HBase,Hue,Impala,MapReduce等功能验证过程略。

6

总结

1.禁用CDH集群的Kerberos服务,主要是依赖Zookeeper的各个服务对Znode的读取权限,这里Fayson比较暴力直接将Zookeeper的数据目录删除重新初始化。

2.相较之前在CDH5.12.1的禁用过程,对于Zookeeper的配置多了一步取消勾选quorum.auth.enableSasl,否则后面会导致Zookeeper服务启动失败,参考《如何禁用CDH集群Kerberos》。

3.需要对启用了Kerberos的服务进行修改,禁用每个服务的Kerberos主要涉及Zookeeper,HDFS,HBase和Hue。本次过程比之前在CDH5.12.1的禁用过程,多了对于Kudu也要取消Kerberos配置,否则CM的安全页面依旧会显示Kerberos还是启用状态。

4.在修改完配置后,启用HDFS时需要注意,由于Fayson直接删除了Zookeeper的数据目录所以我们要为Failover Controller服务初始化自动故障转移Znode

5.如果Kerberos集群启用了Sentry,需要注意的是禁用Kerberos后要在Hive中配置Sentry为testing mode模式。

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-05-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
专用宿主机
专用宿主机(CVM Dedicated Host,CDH)提供用户独享的物理服务器资源,满足您资源独享、资源物理隔离、安全、合规需求。专用宿主机搭载了腾讯云虚拟化系统,购买之后,您可在其上灵活创建、管理多个自定义规格的云服务器实例,自主规划物理资源的使用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档