如何修改CDH集群的DataNoe节点HOSTNAME
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject
1.文档编写目的
在使用CDH集群的过程中，会涉及到修改集群DataNode的HOSTNAME，在修改HOSTSNAME的时候需要注意什么，如何让新修改HOSTSNAME的CDH集群正常工作？本篇文章主要介绍如何修改CDH集群DataNode节点的HOSTNAME。后续Fayson会继续介绍如何修改Cloudera Manager的hostname/ip，KDC的hostname/ip，mysql元数据库的hostname/ip等。本文的主要流程如下：
- 内容概述
1.修改DataNode节点的HOSTNAME
2.修改/etc/hosts配置
3.重启集群
- 测试环境
1.CM和CDH版本为5.13.0
2.采用root用户操作
3.操作系统CentOS6.5
2.集群HOSTNAME列表
DataNode原始HOSTNAME
IP | HOSTNAME |
|---|---|
172.31.9.33 | ip-172-31-9-33.fayson.com |
需要修改为
IP | HOSTNAME |
|---|---|
172.31.9.33 | cdh04.fayson.com |
3.修改DataNode节点的HOSTNAME
1.修改/etc/sysconfig/network配置文件，内容如下
[root@ip-172-31-9-33 ~]# vim /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=cdh04.fayson.com
2.在命令行执行如下命令使立即生效
[root@ip-172-31-9-33 ~]# hostname cdh04.fayson.com
退出终端再重新登录可以看到HOSTNAME已更新
4.更新CDH集群所有节点的hosts文件
将修改后节点HOSTNAME信息同步至集群所有节点的/etc/hosts文件中
[root@cdh04 ~]# more /etc/hosts
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
172.31.6.148 ip-172-31-6-148.fayson.com
172.31.5.190 ip-172-31-5-190.fayson.com
172.31.10.118 ip-172-31-10-118.fayson.com
172.31.9.33 cdh04.fayson.com
172.31.7.172 ip-172-31-7-172
[root@cdh04 ~]#
注意：这里是需要将hosts信息同步至集群的所有节点。
5.重启该DataNode节点的Agent服务
[root@cdh04 ~]# ps -ef |grep supervisor
root 1058 1 0 15:23 ? 00:00:05 /usr/lib64/cmf/agent/build/env/bin/python /usr/lib64/cmf/agent/build/env/bin/supervisord
root 18152 18108 0 16:42 pts/0 00:00:00 grep supervisor
[root@cdh04 ~]# kill -9 1058
[root@cdh04 ~]# service cloudera-scm-agent restart
Stopping cloudera-scm-agent: [ OK ]
Starting cloudera-scm-agent: [ OK ]
[root@cdh04 ~]# 
重启完成后查看集群列表可以看到172.31.9.33节点的HOSTNAME信息已更新
重启完成CM后，回到CM主页根据提示重启集群，集群运行正常
6.运行作业测试集群是否正常
[root@ip-172-31-6-148 ~]# hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 10
通过Yarn的8088界面可以看到我们修改HOSTNAME的节点任务也正常执行
为天地立心，为生民立命，为往圣继绝学，为万世开太平。
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
腾讯云开发者
