前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >大数据成长之路-- hadoop集群的部署(3)HDFS新增节点

大数据成长之路-- hadoop集群的部署(3)HDFS新增节点

作者头像
Maynor
发布2022-11-30 13:51:10
4970
发布2022-11-30 13:51:10
举报
文章被收录于专栏:最新最全的大数据技术体系

文章目录

大数据成长之路-- hadoop集群的部署(3)

6、HDFS新增节点

服役新数据节点

代码语言:javascript
复制
目标:掌握HDFS新添加节点到集群的步骤

需求基础:

代码语言:javascript
复制
随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。
准备新节点

第一步:复制一台新的虚拟机出来

代码语言:javascript
复制
将我们纯净的虚拟机复制一台出来,作为我们新的节点		

第二步:修改mac地址以及IP地址 修改mac地址命令

代码语言:javascript
复制
vim /etc/udev/rules.d/70-persistent-net.rules

修改ip地址命令

代码语言:javascript
复制
vim /etc/sysconfig/network-scripts/ifcfg-eth0

第三步:关闭防火墙,关闭selinux 关闭防火墙

代码语言:javascript
复制
service iptables stop

关闭selinux

代码语言:javascript
复制
vim /etc/selinux/config

第四步:更改主机名 更改主机名命令

代码语言:javascript
复制
vim /etc/sysconfig/network

第五步:四台机器更改主机名与IP地址映射 四台机器都要添加hosts文件

代码语言:javascript
复制
vim /etc/hosts

192.168.52.100 node01.hadoop.com  node01
192.168.52.110 node02.hadoop.com  node02
192.168.52.120 node03.hadoop.com  node03
192.168.52.130 node04.hadoop.com  node04

第六步:node04服务器关机重启并生成公钥与私钥 node04执行以下命令关机重启

代码语言:javascript
复制
reboot 

node04执行以下命令生成公钥与私钥

代码语言:javascript
复制
ssh-keygen

node04执行以下命令将node04的私钥拷贝到node01服务器

代码语言:javascript
复制
ssh-copy-id  node04
ssh-copy-id  node03
ssh-copy-id  node02
ssh-copy-id  node01


scp authorized_keys  node04:$PWD

第七步:node04安装jdk node04统一两个路径

代码语言:javascript
复制
mkdir -p /export/softwares/
mkdir -p /export/servers/

然后解压jdk安装包,配置环境变量,或将集群中的java安装目录拷贝一份,并配置环境变量。 第八步:解压hadoop安装包 在node04服务器上面解压hadoop安装包到/export/servers node01执行以下命令将hadoop安装包拷贝到node04服务器

代码语言:javascript
复制
cd /export/softwares/
scp hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz node04:$PWD

第九步:将node01关于hadoop的配置文件全部拷贝到node04 node01执行以下命令,将hadoop的配置文件全部拷贝到node04服务器上面

代码语言:javascript
复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/
scp ./* node04:$PWD

服役新节点具体步骤

第一步:创建dfs.hosts文件 在node01也就是namenode所在的机器的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts文件

代码语言:javascript
复制
[root@node01 hadoop]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
[root@node01 hadoop]# touch dfs.hosts
[root@node01 hadoop]# vim dfs.hosts

添加如下主机名称(包含新服役的节点)

代码语言:javascript
复制
node01
node02
node03
node04

第二步:node01编辑hdfs-site.xml添加以下配置 在namenode的hdfs-site.xml配置文件中增加dfs.hosts属性 node01执行以下命令

代码语言:javascript
复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml


<property>
                <name>dfs.hosts</name>
                <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts</value>
        </property>

第三步:刷新namenode node01执行以下命令刷新namenode

代码语言:javascript
复制
[root@node01 hadoop]# hdfs dfsadmin -refreshNodes
Refresh nodes successful

第四步:更新resourceManager节点 node01执行以下命令刷新resourceManager

代码语言:javascript
复制
[root@node01 hadoop]# yarn rmadmin -refreshNodes
19/03/16 11:19:47 INFO client.RMProxy: Connecting to ResourceManager at node01/192.168.52.100:8033

第五步:namenode的slaves文件增加新服务节点主机名称 node01编辑slaves文件,并添加新增节点的主机,更改完后,slaves文件不需要分发到其他机器上面去 node01执行以下命令编辑slaves文件

代码语言:javascript
复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves

node01
node02
node03
node04

第六步:单独启动新增节点

node04服务器执行以下命令,启动datanode和nodemanager

代码语言:javascript
复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager

第七步:浏览器查看

代码语言:javascript
复制
http://node01:50070/dfshealth.html#tab-overview

http://node01:8088/cluster

第八步:使用负载均衡命令,让数据均匀负载所有机器

node01执行以下命令

代码语言:javascript
复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-10-14,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 文章目录
  • 6、HDFS新增节点
    • 服役新数据节点
      • 服役新节点具体步骤
      相关产品与服务
      大数据
      全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档