如何修改CDH集群的DataNoe节点HOSTNAME

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject

1.文档编写目的


在使用CDH集群的过程中,会涉及到修改集群DataNode的HOSTNAME,在修改HOSTSNAME的时候需要注意什么,如何让新修改HOSTSNAME的CDH集群正常工作?本篇文章主要介绍如何修改CDH集群DataNode节点的HOSTNAME。后续Fayson会继续介绍如何修改Cloudera Manager的hostname/ip,KDC的hostname/ip,mysql元数据库的hostname/ip等。本文的主要流程如下:

  • 内容概述

1.修改DataNode节点的HOSTNAME

2.修改/etc/hosts配置

3.重启集群

  • 测试环境

1.CM和CDH版本为5.13.0

2.采用root用户操作

3.操作系统CentOS6.5

2.集群HOSTNAME列表


DataNode原始HOSTNAME

IP

HOSTNAME

172.31.9.33

ip-172-31-9-33.fayson.com

需要修改为

IP

HOSTNAME

172.31.9.33

cdh04.fayson.com

3.修改DataNode节点的HOSTNAME


1.修改/etc/sysconfig/network配置文件,内容如下

[root@ip-172-31-9-33 ~]# vim /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=cdh04.fayson.com

2.在命令行执行如下命令使立即生效

[root@ip-172-31-9-33 ~]# hostname cdh04.fayson.com

退出终端再重新登录可以看到HOSTNAME已更新

4.更新CDH集群所有节点的hosts文件


将修改后节点HOSTNAME信息同步至集群所有节点的/etc/hosts文件中

[root@cdh04 ~]# more /etc/hosts
127.0.0.1               localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6

172.31.6.148  ip-172-31-6-148.fayson.com
172.31.5.190  ip-172-31-5-190.fayson.com
172.31.10.118 ip-172-31-10-118.fayson.com
172.31.9.33   cdh04.fayson.com
172.31.7.172 ip-172-31-7-172
[root@cdh04 ~]#

注意:这里是需要将hosts信息同步至集群的所有节点。

5.重启该DataNode节点的Agent服务


[root@cdh04 ~]# ps -ef |grep supervisor
root      1058     1  0 15:23 ?        00:00:05 /usr/lib64/cmf/agent/build/env/bin/python /usr/lib64/cmf/agent/build/env/bin/supervisord
root     18152 18108  0 16:42 pts/0    00:00:00 grep supervisor
[root@cdh04 ~]# kill -9 1058
[root@cdh04 ~]# service cloudera-scm-agent restart
Stopping cloudera-scm-agent:                               [  OK  ]
Starting cloudera-scm-agent:                               [  OK  ]
[root@cdh04 ~]# 

重启完成后查看集群列表可以看到172.31.9.33节点的HOSTNAME信息已更新

重启完成CM后,回到CM主页根据提示重启集群,集群运行正常

6.运行作业测试集群是否正常


[root@ip-172-31-6-148 ~]# hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 10

通过Yarn的8088界面可以看到我们修改HOSTNAME的节点任务也正常执行

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2017-12-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Albert陈凯

XX公司大数据笔试题(A)

XX公司大数据笔试题(A) 大数据基础(HDFS/Hbase/Hive/Spark〉 1.1. 对出Hadoop集群典型的配置文件名称,并说明各配置文件的用途...

6294
来自专栏行者悟空

让Spark运行在YARN上(Spark on YARN)

1.3K4
来自专栏Hadoop实操

如何指定Spark2作业中Driver和Executor使用指定范围内端口

在CDH集群中提交Spark作业,大家也都知道Spark的Driver和Executor之间通讯端口是随机的,Spark会随选择1024和65535(含)之间的...

1.1K2
来自专栏LuckQI

Java大数据学习~Hadoop初识二读取与写入流程

1395
来自专栏行者悟空

Spark之集群概述

1603
来自专栏KaliArch

大数据平台CDH搭建

Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,...

4905
来自专栏Hadoop实操

如何指定Spark1作业中Driver和Executor使用指定范围内端口

在CDH集群中提交Spark作业,大家也都知道Spark的Driver和Executor之间通讯端口是随机的,Spark会随选择1024和65535(含)之间的...

2736
来自专栏分布式系统和大数据处理

安装和配置Hadoop集群(3节点)

在 安装和配置Hadoop(单节点) 这篇文章中,已经进行了Hadoop单机伪集群模式的部署。生产环境中,Hadoop都是以集群方式进行安装和部署的,否则,就不...

5613
来自专栏个人分享

Spark on Yarn 架构解析

我们都知道yarn重构根本的思想,是将原有的JobTracker的两个主要功能资源管理器 和 任务调度监控 分离成单独的组件。新的架构使用全局管理所有应用程序的...

3501
来自专栏Hadoop实操

Hive启用Sentry后如何限制用户提交Yarn资源池

在前面Fayson介绍了《如何使用Cloudera Manager设置使用YARN队列的ACL》和《如何在Cloudera Manager中配置Yarn放置规则...

9764

扫码关注云+社区

领取腾讯云代金券