一脸懵逼学习Hdfs---动态增加节点和副本数量管理(Hdfs动态扩容)

1:按照上篇博客写的,将各个进程都启动起来:

集群规划:     主机名          IP                  安装的软件                        运行的进程    master     192.168.3.129      jdk、hadoop                        NameNode、DFSZKFailoverController(zkfc)    slaver1    192.168.3.130      jdk、hadoop                        NameNode、DFSZKFailoverController(zkfc)    slaver2    192.168.3.131      jdk、hadoop                        ResourceManager    slaver3    192.168.3.132      jdk、hadoop                        ResourceManager    slaver4    192.168.3.133      jdk、hadoop、zookeeper         DataNode、NodeManager、JournalNode、QuorumPeerMain    slaver5    192.168.3.134      jdk、hadoop、zookeeper         DataNode、NodeManager、JournalNode、QuorumPeerMain    slaver6    192.168.3.135      jdk、hadoop、zookeeper         DataNode、NodeManager、JournalNode、QuorumPeerMain

 2:开始测试动态增加节点和副本数量管理:

  首先将master节点的datanode挂掉(即少了一个保存文件的副本):

注意:hadoop datanode节点超时时间设置:

datanode进程死亡或者网络故障造成datanode无法与namenode通信, namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。 HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超时时长的计算公式为:     timeout  = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval。     而默认的heartbeat.recheck.interval 大小为5分钟,dfs.heartbeat.interval默认为3秒。     需要注意的是hdfs-site.xml 配置文件中的:       heartbeat.recheck.interval的单位为毫秒,       dfs.heartbeat.interval的单位为秒。 所以,举个例子,如果heartbeat.recheck.interval设置为5000(毫秒),dfs.heartbeat.interval设置为3(秒,默认),则总的超时时间为40秒。     hdfs-site.xml中的参数设置格式: <property> <name>heartbeat.recheck.interval</name> <value>2000</value> </property> <property> <name>dfs.heartbeat.interval</name> <value>1</value> </property>

 注意:HDFS冗余数据块的自动删除:

在日常维护hadoop集群的过程中发现这样一种情况:     某个节点由于网络故障或者DataNode进程死亡,被NameNode判定为死亡,     HDFS马上自动开始数据块的容错拷贝;     当该节点重新添加到集群中时,由于该节点上的数据其实并没有损坏,     所以造成了HDFS上某些block的备份数超过了设定的备份数。     通过观察发现,这些多余的数据块经过很长的一段时间才会被完全删除掉,     那么这个时间取决于什么呢?     该时间的长短跟数据块报告的间隔时间有关。     Datanode会定期将当前该结点上所有的BLOCK信息报告给Namenode,     参数dfs.blockreport.intervalMsec就是控制这个报告间隔的参数。     hdfs-site.xml文件中有一个参数: <property> <name>dfs.blockreport.intervalMsec</name> <value>10000</value> <description>Determines block reporting interval in milliseconds.</description> </property>     其中3600000为默认设置,3600000毫秒,即1个小时,也就是说,块报告的时间间隔为1个小时,所以经过了很长时间这些多余的块才被删除掉。通过实际测试发现,当把该参数调整的稍小一点的时候(60秒),多余的数据块确实很快就被删除了。

 3:停止一下集群,配置一下hadoop datanode节点超时时间设置和HDFS冗余数据块的自动删除,停止集群如下所示:

依次查看一下各个节点的进程启动情况:

然后将slaver5和slaver6的yarn进程停掉:

然后依次关掉zookeeper的进程:如master,slaver1和slaver2都一样,这里不再重复了:

[root@master bin]# ./zkServer.sh stop

现在修改配置一下:hadoop datanode节点超时时间设置和HDFS冗余数据块的自动删除的配置文件hdfs-site.xml:

hadoop datanode节点超时时间设置
hdfs-site.xml中的参数设置格式:

<property>
<name>heartbeat.recheck.interval</name>
<value>2000</value>
</property>
<property>
<name>dfs.heartbeat.interval</name>
<value>1</value>
</property>
HDFS冗余数据块的自动删除
hdfs-site.xml文件中有一个参数:

<property>
<name>dfs.blockreport.intervalMsec</name>
<value>10000</value>
<description>Determines block reporting interval in milliseconds.</description>
</property>

操作如下所示:

[root@slaver3 hadoop]# vim hdfs-site.xml

 将修改的hdfs-site.xml复制到其他6个节点上面,如下所示:

4:将集群启动起来:

   4.1:启动zookeeper集群(分别在master、slaver1、slaver2上启动zookeeper):

  4.2:启动journalnode(分别在master、slaver1、slaver2上执行)

4.3:千万不要执行格式化HDFS,千万不要执行格式化ZKFC(在slaver3上执行即可),不然还是报很多错误;

  4.4:然后在slaver3启动start-dfs.sh

现在可以去其他节点看看,全部进程都可以正常启动,如果你想启动yarn进程,下面启动yarn进程,slaver5节点和slaver6节点操作一样,这里只贴slaver5即可:

如果你耐心十足,搞了一天,想吐,这里还是再贴一下jps查看的进程情况吧:

5:然后将master的namenode干掉,看看Live Nodes是否变化:

经过14s后,活着的node数目就由3变成了2:

 如何新加一个datanode,再搞一个虚拟机(我再新建一个虚拟机,不知道我的电脑撑住撑不住,试试吧先),然后将hadoop的安装包复制过去,然后将datanode启动起来:好吧,最后没有弄出来,以后有机会好好补一下这点,动态增加节点和副本数量管理;

补充要点: 注意:hdfs动态扩容要点,将手动启动节点: hadoop-daemon.sh start namenode 启动namenode hadoop-daemon.sh start datanode 启动datanode.   即可以动态加入,只不过没写到slavers里面,下次重启以后,手动加入即可完成动态扩容了。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CSDN技术头条

Hadoop大数据平台运维工程师须掌握的基本命令集分享

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令,在此分享出来供大家参考学习~博主也是刚刚接触hado...

2059
来自专栏数说工作室

零基础搭建分布式集群的几个方法

大家好,许久没更新了,这段时间忙着换工作和交接过度(对,换工作了);另一方面,这段时间试着搭建了一下分布式集群,本来打算跟大家详细分享一下,由于是零基础,中间还...

3475
来自专栏北京马哥教育

CentOS 6.5上搭建Hadoop环境详解

本文详细记录在开发服务器CentOS 6.5上搭建Hadoop的详细过程。 ssh连接免密码配置 由于配置过程中需要频繁的进行ssh连接到开发服务器执行命令以及...

3185
来自专栏静默虚空的博客

Yarn 入门

[package]会被加入到package.json文件中的依赖列表,同时yarn.lock也会被更新。

853
来自专栏IT技术精选文摘

Hadoop完全分布式搭建

3002
来自专栏Hadoop实操

如何编译及使用hive-testbench生成Hive基准测试数据

前面Fayson介绍了《如何编译及使用TPC-DS生成测试数据》,在本篇文章Fayson主要介绍GitHub上的一个开源的项目hive-testbench,该项...

56510
来自专栏https://www.cnblogs.com/L

【Spark篇】---Spark中yarn模式两种提交任务方式

Spark可以和Yarn整合,将Application提交到Yarn上运行,和StandAlone提交模式一样,Yarn也有两种提交任务的方式。

1923
来自专栏Hadoop实操

如何在Cloudera Manager中配置Yarn放置规则

Hadoop集群管理员希望能对集群Yarn作业的资源进行控制。根据不同的业务组或不同的用户,对Yarn的资源池进行划分,达到资源管控、任务管控的效果。通过CM可...

2111
来自专栏Hadoop实操

如何修改CDH集群的IP地址

在CDH集群中使用多个IP地址来管理集群,独立的集群内网和管理网段,管理网段与外部应用网络通但不与内网通。在部署集群是由于错将管理网段作为集群的内网,所以这里需...

3604
来自专栏Jed的技术阶梯

Hadoop高可用(HA)集群搭建

HA:High Available,高可用 在Hadoop 2.0之前,在HDFS集群中NameNode存在单点故障 (SPOF:A Single Point...

2262

扫码关注云+社区