如何给Kerberos环境下的CDH集群添加Gateway节点

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1.文档编写目的


Gateway节点又称为客户端节点,通常用作访问Hadoop集群的接口机。它主要会部署一些客户端的配置,脚本命令,比如HDFS的core-site.xml,hdfs-site.xml以及hadoop的操作命令。

如果你使用的是Apache Hadoop,你只需要将hadoop相关服务的配置和脚本命令拷贝到客户端机器即可,但一旦集群的配置有所修改,你需要注意也同步到客户端机器。如果是CDH集群,客户端节点也会是Cloudera Manager管理的一台机器,它会被安装cloudera-scm-agent服务,以及CDH的Parcel,部署客户端配置Cloudera Manager会统一做,另外如果客户端机器出现异常,Cloudera Manager也会告警。

增加一台Gateway节点,与安装CDH非常类似,你必须要注意一定要做好客户端机器的前置条件准备,参考《CDH安装前置准备》,否则会增加失败。前面Fayson介绍过在非Kerberos环境下部署Gateway节点,参考《如何给CDH集群增加Gateway节点》。本文则主要是介绍如何在Kerberos环境下给CDH集群增加Gateway节点。

  • 内容概述

1.创建Gateway节点的主机模板

2.Gateway节点的前置准备

3.增加Gateway节点到集群并应用主机模板

4.GateWay节点命令测试

  • 测试环境

1.CDH5.11.2

2.采用具有sudu权限的root用户操作

3.CentOS6.5

  • 前置条件

1.CDH5.11.2集群运行正常

2.Gateway节点已准备,并准备好前置

2.创建Gateway节点的主机模板


1.从Cloudera Manager进入“主机模板”页面

2.点击“创建”

3.给模板命名,点击各个服务勾选相应的GateWay角色。

4.点击“创建”,确认创建成功

3.Gateway节点的前置准备


前置准备请参考Fayson之前的文章《CDH安装前置准备》,主要包括以下步骤:

1.确保OS的yum源可以正常使用,通过yum repolist命令可以查看到匹配的OS的所有包

2.确保Cloudera Manager的yum源运行正常

3.hosts文件配置,需要将Gateway节点的IP和hostname加入到CDH集群节点的hosts文件中,并同步到所有机器包括Gateway节点

4.禁用SELinux

5.关闭防火墙

6.设置swap为10

7.关闭透明大页面

8.配置时钟同步

请务必确保以上操作都已完成,并成功配置,否则接下来的增加节点操作会失败!

4.安装Kerberos客户端


由于集群启用了Kerberos服务,所以需要在Gateway节点安装Kerberos客户端。

1.在Gateway节点上执行如下命令

ec2-user@ip-172-31-31-212opt$ sudo yum -y install krb5-libskrb5-workstation

安装成功后查看安装的RPM包

ec2-user@ip-172-31-31-212opt$ rpm -qa |grep krb

krb5-workstation-1.15.1-8.el7.x86_64

krb5-libs-1.15.1-8.el7.x86_64

krb5-devel-1.15.1-8.el7.x86_64

ec2-user@ip-172-31-31-212 opt$

2.将CM集群中的krb5.conf文件拷贝至该Gateway节点

[ec2-user@ip-172-31-22-86 ~]$ scp -i fayson.pem.txt /etc/krb5.conf ip-172-31-31-212:/home/ec2-user/

3.在Gateway节点将krb5.conf文件拷贝至/etc目录下

[ec2-user@ip-172-31-31-212 ~]$ sudo cp krb5.conf /etc/
[ec2-user@ip-172-31-31-212 ~]$ sudo chown root. /etc/krb5.conf
[ec2-user@ip-172-31-31-212 ~]$ ll /etc/krb5.conf
-rw-r--r-- 1 root root 837 Dec  9 00:28 /etc/krb5.conf
[ec2-user@ip-172-31-31-212 ~]$ 

4.在GateWay节点测试Kerberos客户端是否部署成功

[ec2-user@ip-172-31-31-212 ~]$ kinit -kt fayson.keytab fayson
[ec2-user@ip-172-31-31-212 ~]$ klist
Ticket cache: FILE:/tmp/krb5cc_1000
Default principal: fayson@CLOUDERA.COM

Valid starting       Expires              Service principal
12/09/2017 00:31:53  12/10/2017 00:31:53  krbtgt/CLOUDERA.COM@CLOUDERA.COM
        renew until 12/16/2017 00:31:53
[ec2-user@ip-172-31-31-212 ~]$

有如上图所示则表示Kerberos客户端安装成功。

5.增加Gateway节点的集群并应用主机模板


1.进入“所有主机”页面

2.点击“向群集添加主机”

3.选择“经典向导”

4.继续

5.输入Gateway节点的IP或者hostname,点击搜索

点击“继续”

6.选择“自定义存储库”,并输入Cloudera Manager的yum源http地址,点击“继续”

7.勾选Java的两个选项,点击“继续”

8.输入Gateway节点的ec2-user密码,并点击“继续”

9.等待cloudera-scm-agent在Gateway节点上安装

安装完成点击“继续”

10.等待分发Parcel包并激活

完成后,点击“继续”

11.主机检查,点击“继续”

12.选择主机模板

13.点击“继续”向集群中添加新主机

等待执行成功

14.点击“继续”,部署客户端配置

15.点击完成,查看主机列表GateWay节点的角色信息

至此,给Kerberos环境下CDH集群增加新的Gateway节点完成。

6.Gateway节点测试


1.HDFS命令测试

[ec2-user@ip-172-31-31-212 ~]$ hadoop fs -ls /

2.HBase命令测试

[ec2-user@ip-172-31-31-212 ~]$ hbase shell

3.Hive命令测试

[ec2-user@ip-172-31-31-212 ~]$ hive

4.hadoop命令向集群提交作业

[ec2-user@ip-172-31-31-212 ~]$ hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 5 5

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2017-12-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

如何迁移Cloudera Manager节点

本文档讲述如何将Cloudera Manager在Kerberos环境下迁移至新的CM节点。通过本文档,您将学习到以下知识:

8246
来自专栏我是攻城师

Hive集成Tez让大象飞起来

3888
来自专栏潇涧技术专栏

Hadoop Installation - Single Node Setup

上学期在Mac上搭建好了Hadoop,因为这学期开学重装了系统就没了,以为不会再折腾,结果大数据作业又要整hadoop,于是乎,爱折腾的程序猿又来折腾咯,有过上...

1044
来自专栏乐沙弥的世界

Windows 2012配置故障转移(For SQLServer 2014 AlwaysOn)

单击”管理”菜单,选择”添加角色和功能” 单击”下一步”,选择”基于角色或基于功能的安装”,单击”下一步” 选择本地服务器,单击”下一步”,直到功能模块...

1442
来自专栏LhWorld哥陪你聊算法

【CDH篇】---CDH从初识到搭建到应用

CDH(Cloudera's Distribution, including Apache Hadoop)是Hadoop众多分支中的一种,由Cloudera维护...

6222
来自专栏Hadoop实操

Impala动态资源池及放置规则使用

Fayson在前面的文章介绍了《如何启用Impala的动态资源池》。管理员可以通过Impala的动态资源池、放置规则及ACL控制不同的用户对Impala资源使用...

4774
来自专栏Hadoop实操

如何修改CDH集群的IP地址

在CDH集群中使用多个IP地址来管理集群,独立的集群内网和管理网段,管理网段与外部应用网络通但不与内网通。在部署集群是由于错将管理网段作为集群的内网,所以这里需...

4554
来自专栏Hadoop实操

如何在CDH集群使用HDFS快照

HDFS中可以对目录创建Snapshot,创建之后不管后续目录发生什么变化,都可以通过快照找回原来的文件和目录结构,那么在CDH集群中如何使用HDFS的快照功能...

3509
来自专栏Hadoop实操

如何在CDH集群外配置Kerberos环境的Gateway节点

4664
来自专栏about云

Hadoop3.0集群安装知识

问题导读 1.本文是如何定义master的? 2.如何配置hadoop守护进程环境? 3.配置Hadoop守护进程需要哪些配置文件? 4.yarn-site配...

3737

扫码关注云+社区

领取腾讯云代金券