如何在CDH集群外配置Kerberos环境的Gateway节点

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

Fayson的github: https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的


在前面的文章Fayson介绍了《如何在CDH集群外配置非Kerberos环境的Gateway节点》,本篇文章主要介绍如何在CDH集群外配置Kerberos环境的Gateway节点。

  • 内容概述

1.部署环境说明

2.部署Gateway节点及测试

3.总结

  • 测试环境

1.CM和CDH版本为5.14.2

2.操作系统为RedHat7.3

3.操作用户root

  • 前置条件

1.Gateway节点与集群网络正常

2.环境说明


集群外节点:

IP地址

HostName

操作系统

172.27.0.5

cdh05.fayson.com

RedHat7.3

集群环境:

IP地址

HostName

操作系统

172.27.0.4

cdh01.fayson.com

RedHat7.3

172.27.0.11

cdh02.fayson.com

RedHat7.3

172.27.0.7

cdh03.fayson.com

RedHat7.3

172.27.0.3

cdh04.fayson.com

RedHat7.3

cdh05.fayson.com节点并未添加到CM中:

3.部署Gateway节点


1.将集群的hosts文件同步至该Gateway节点(cdh05.fayson.com)

[root@cdh01 ~]# scp /etc/hosts cdh05.fayson.com:/etc/

(可左右滑动)

2.集群启用了Kerberos,所以需要在(cdh05.fayosn.com)节点安装Kerberos客户端,执行如下命令

[root@cdh05 ~]# yum -y install krb5-libs krb5-workstation

(可左右滑动)

将集群KDC服务器上的/etc/krb5.conf文件拷贝至(cdh05.fayson.com)节点的/etc目录下

[root@cdh01 ~]# scp /etc/krb5.conf cdh05.fayson.com:/etc/

(可左右滑动)

在(cdh05.fayson.com)节点上查看文件是否已拷贝成功

测试Kerberos客户端是否正常使用

[root@cdh05 ~]# kinit fayson
[root@cdh05 ~]# klist

(可左右滑动)

3.登录集群任意节点,将集群的Java目录拷贝至(cdh05.fayson.com)节点的/usr/java目录下

[root@cdh01 conf]# scp -r /usr/java/jdk1.8.0_131/ cdh05.fayson.com:/usr/java/

(可左右滑动)

4.登录CDH集群的任意节点,将/opt/cloudera/parcels目录压缩并拷贝至(cdh05.fayson.com)节点

[root@cdh01 parcels]# tar -czvf cdh.tar.gz CDH-5.14.2-1.cdh5.14.2.p0.3/ CDH/
[root@cdh01 ~]# scp -r /opt/cloudera cdh05.fayson.com:/opt/

(可左右滑动)

5.登录(cdh05.fayson.com)节点的服务器上,创建/opt/cloudera/parcels目录,并将cdh.tar.gz解压至该目录下

[root@cdh05 ~]# mkdir -p /opt/cloudera/
[root@cdh05 ~]# tar -zxvf cdh.tar.gz -C /opt/cloudera/parcels
[root@cdh05 ~]# ll /opt/cloudera/parcels/

(可左右滑动)

6.在(cdh05.fayson.com)节点上执行如下命令创建服务配置文件存放目录

[root@cdh05 ~]# mkdir -p /etc/spark/conf
[root@cdh05 ~]# mkdir -p /etc/hadoop/conf
[root@cdh05 ~]# mkdir -p /et/hbase/conf
[root@cdh05 ~]# mkdir -p /etc/hive/conf

(可左右滑动)

登录CDH集群拥有spark、hadoop、hbase、hive等Gateway节点上将/etc/*/conf目录下的配置文件拷贝至(cdh05.fayson.com)节点相应目录下

scp -r /etc/hadoop/conf/* cdh05.fayson.com:/etc/hadoop/conf
scp -r /etc/spark/conf/* cdh05.fayson.com:/etc/spark/conf
scp -r /etc/hbase/conf/* cdh05.fayson.com:/etc/hbase/conf
scp -r /etc/hive/conf/* cdh05.fayson.com:/etc/hive/conf

(可左右滑动)

Spark配置文件:

HBase配置文件:

Hive配置文件:

Hadoop配置文件:

7.配置(cdh05.fayson.com)节点的环境变量

修改/etc/profile配置文件,在文件的末尾增加如下配置:

export JAVA_HOME=/usr/java/jdk1.8.0_131
export CDH_HOME=/opt/cloudera/parcels/CDH
export PATH=$CDH_HOME/bin:$PATH

(可左右滑动)

修改后执行如下命令是环境变量生效:

[root@cdh05 ~]# source /etc/profile

(可左右滑动)

4.Gateway客户端命令验证


1.使用Kerberos账号进行kinit操作

[root@cdh05 ~]# kinit fayson 
[root@cdh05 ~]# klist

(可左右滑动)

2.执行hadoop命令测试

[root@cdh05 ~]# hadoop fs -ls /

(可左右滑动)

hadoop命令执行成功。

3.向集群提交一个MR作业

[root@cdh05 ~]# hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 5 5 

(可左右滑动)

作业执行成功。

4.使用yarn命令查看

[root@cdh05 ~]# yarn application --list

(可左右滑动)

Yarn命令执行成功。

5.使用hbase shell访问HBase

[root@cdh05 ~]# hbase shell

(可左右滑动)

6.使用hive和beeline访问Hive

[root@cdh05 ~]# hive

(可左右滑动)

Beeline访问:

[root@cdh05 ~]# beeline 
beeline> !connect jdbc:hive2://cdh01.fayson.com:10000/;principal=hive/cdh01.fayson.com@FAYSON.COM

(可左右滑动)

5.总结


1.在集群外节点配置Gateway节点时,如果是Kerberos集群则需要为该节点安装Kerberos客户,并将krb5.conf文件拷贝至该节点的/etc目录下

2.配置Gateway节点时需要将各服务的客户端配置文件拷贝至Gateway节点的对应目录下,默认为/etc/{servicename}/conf目录,否则无法访问的CDH集群。

3.配置Gateway节点是需要将集群的/usr/java目录下的JDK拷贝至Gateway节点的对应目录下,如果使用自己的JDK版本需要注意Kerberos环境下要为JDK安装JCE,否则访问集群会报错。

4.配置Gateway环境变量时使用的/opt/cloudera/parcels/CDH/bin目录下的服务命令,使用其他目录下的可能会报错。

5.impala-shell的客户端配置Fayson暂时未配通,由于涉及到python的依赖导致impala-shell访问Kerberos环境的CDH集群时报“Could not start SASL: Error in sasl_client_start (-4) SASL(-4)”。

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-06-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

如何禁用CDH集群Kerberos

72560
来自专栏Hadoop实操

使用Hive SQL插入动态分区的Parquet表OOM异常分析

当运行“INSERT ... SELECT”语句向Parquet或者ORC格式的表中插入数据时,如果启用了动态分区,你可能会碰到以下错误,而导致作业无法正常执行...

2K80
来自专栏Hadoop实操

如何编译及使用hive-testbench生成Hive基准测试数据

前面Fayson介绍了《如何编译及使用TPC-DS生成测试数据》,在本篇文章Fayson主要介绍GitHub上的一个开源的项目hive-testbench,该项...

986100
来自专栏AILearning

Apache Zeppelin 中 HDFS文件系统 解释器

概述 Hadoop文件系统是hadoop项目的分布式,容错文件系统的一部分,通常用作Hadoop MapReduce和Apache Spark或Allux...

27650
来自专栏Hadoop实操

如何在CDH集群使用HDFS快照

HDFS中可以对目录创建Snapshot,创建之后不管后续目录发生什么变化,都可以通过快照找回原来的文件和目录结构,那么在CDH集群中如何使用HDFS的快照功能...

36090
来自专栏刘远的专栏

airflow—服务失效监控(5)

因为DAG文件会在调度器和worker执行时加载,如果在DAG中引用了第三方的库或进行了DB操作,则这些操作会在DAG文件加载时被频繁调用。举个例子,如果升级了...

29630
来自专栏Hadoop实操

如何为Kerberos环境的CDH集群在线扩容数据节点

Hadoop集群其中一个优点就是可伸缩性(横向扩展),通过增加计算节点使服务容量产生线性增长的能力。可伸缩的应用程序的主要特点是:只需要增加资源,而不需要对应用...

61080
来自专栏我是攻城师

Apache Pig入门学习文档(一)

40050
来自专栏Hadoop实操

如何给Kerberos环境下的CDH集群添加Gateway节点

Gateway节点又称为客户端节点,通常用作访问Hadoop集群的接口机。它主要会部署一些客户端的配置,脚本命令,比如HDFS的core-site.xml,hd...

46540
来自专栏分布式系统和大数据处理

安装和配置Hadoop(单节点)

Hadoop生态圈仍处于欣欣向荣的发展态势,不断涌现新的技术和名词。Hadoop的HDFS、YARN、MapReduce仍是最基础的部分,这篇文章记录了如何一步...

80830

扫码关注云+社区

领取腾讯云代金券