如何修改CDH集群的IP地址

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢

1.文档编写目的


在CDH集群中使用多个IP地址来管理集群,独立的集群内网和管理网段,管理网段与外部应用网络通但不与内网通。在部署集群是由于错将管理网段作为集群的内网,所以这里需要修改集群CDH集群IP地址至内网网段,本篇文章主要介绍如何修改CDH集群的IP地址。

  • 内容概述

1.环境说明

2.修改集群hosts文件及重启相应服务

3.修改Kafka和Flume配置

  • 测试环境

1.CM和CDH版本为5.13.0

2.采用root用户操作

3.操作系统RedHat7.2

2.集群环境说明


在集群中个节点均有两个以上的IP地址,172.16.25.*网段为集群内部通信网段,10.134.130.*为集群的管理网段,在部署集群时错将管理网段作为集群的内网,因此现在需要将集群的数据网段修改为172.16.25.*。

管理LAN(千兆)

数据Lan(万兆)

HOSTNAME

10.134.130.44

172.16.25.1

datanode1

10.134.130.46

172.16.25.2

datanode2

10.134.130.47

172.16.25.3

datanode3

10.134.130.81

172.16.25.4

datanode4

10.134.130.84

172.16.25.5

datanode5

10.134.130.85

172.16.25.6

datanode6

10.134.130.86

172.16.25.7

datanode7

10.134.130.87

172.16.25.7

namenode1

10.134.130.88

172.16.25.10

edgenode

10.134.130.98

172.16.25.9

namenode2

3.修改集群的hosts文件


1.集群修改前hosts文件

2.集群修改后hosts文件

注意:将修改后的hosts文件同步至集群所有节点。

4.重启集群服务


1.在集群所有节点执行如下操作

[root@edgenode shell]# ps -ef |grep supervisor
[root@edgenode shell]# kill -9 13141
[root@edgenode shell]# systemctl restart cloudera-scm-agent

(可左右滑动)

2.使用管理员登录Cloudera Manager 的WEB控制台,根据提示重启Cloudera Managent Service 和 CDH 集群。

重启完成后集群正常

3.查看集群列表主机列表IP地址是否已修改

5.修改Kafka配置


由于集群之前使用的Kafka网段为10.134.130.*,该网段与外部应用网络互通,现将集群的网段修改为172.16.25.*后,外部应用与Kafka的访问出现故障,经查看发现Kafka的Broker服务启动默认监听的是内网的IP地址,无法供外部应用访问,所以现在需要对Kafka配置进行修改,使其监听10.134.130.*网段的IP地址。

1.进入Kafka服务的每个Broker实例,修改advertised.host.name属性为该实例所在服务器的外部IP地址

2.在每个Kafka Broker实例的服务启动参数中增加高级配置

listeners=PLAINTEXT://10.134.130.88:9092

保存配置后,回到CM主页根据提示重启相应服务。

3.检查监听端口是否为我们指定的IP地址

[root@edgenode shell]# netstat -apn |grep 9092 |grep LISTEN

(可左右滑动)

6.修改Flume Agent配置


由于集群中使用到Flume和Kafka,所以这里需要将Flume的Agent进行相应的修改。修改Flume的Agent配置文件中使用到Kafka的broker配置,将hostname修改为上面绑定的Ip地址。如下:

提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-01-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

如何卸载CDH(附一键卸载github源码)

本文档将介绍Cloudera Manager与CDH的卸载,并基于CDH使用parcels安装且未配置安全(AD/LDAP, Kerberos, Data En...

5416
来自专栏乐沙弥的世界

Windows 2012配置故障转移(For SQLServer 2014 AlwaysOn)

单击”管理”菜单,选择”添加角色和功能” 单击”下一步”,选择”基于角色或基于功能的安装”,单击”下一步” 选择本地服务器,单击”下一步”,直到功能模块...

1172
来自专栏Hadoop实操

如何在不重启Yarn服务的情况下启用DEBUG日志记录

为了解决Yarn问题,需要为不同的服务启用调试。但是,在生产集群中,可能无法立即重启Yarn服务。本篇文章Fayson主要介绍如何在不重启Yarn服务的情况下为...

1505
来自专栏分布式系统和大数据处理

安装和配置Hadoop(单节点)

Hadoop生态圈仍处于欣欣向荣的发展态势,不断涌现新的技术和名词。Hadoop的HDFS、YARN、MapReduce仍是最基础的部分,这篇文章记录了如何一步...

6683
来自专栏AILearning

Apache Zeppelin 中 HDFS文件系统 解释器

概述 Hadoop文件系统是hadoop项目的分布式,容错文件系统的一部分,通常用作Hadoop MapReduce和Apache Spark或Allux...

2555
来自专栏Hadoop实操

如何编译及使用hive-testbench生成Hive基准测试数据

前面Fayson介绍了《如何编译及使用TPC-DS生成测试数据》,在本篇文章Fayson主要介绍GitHub上的一个开源的项目hive-testbench,该项...

78410
来自专栏蓝天

使用process_monitor.sh监控hadoop进程的crontab配置

可以从下列链接找到process_monitor.sh: https://github.com/eyjian/mooon/blob/master/commo...

1182
来自专栏Hadoop实操

如何在CDH5.13中安装CDSW1.2

Cloudera前一段时间发布了CDH5.13版本,5.13的新功能可以参考前一篇文章《CDH5.13和CM5.13的新功能》,在CDH5.13版本以后支持CD...

4955
来自专栏IT技术精选文摘

Hadoop完全分布式搭建

6222
来自专栏菩提树下的杨过

hadoop1.2.1伪分布模式配置

1、修改core-site.xml,配置hdfs 1 <configuration> 2 <property> 3 <name>fs.default...

2135

扫码关注云+社区

领取腾讯云代金券