一脸懵逼学习Hdfs---动态增加节点和副本数量管理(Hdfs动态扩容)

1:按照上篇博客写的,将各个进程都启动起来:

集群规划:     主机名          IP                  安装的软件                        运行的进程    master     192.168.3.129      jdk、hadoop                        NameNode、DFSZKFailoverController(zkfc)    slaver1    192.168.3.130      jdk、hadoop                        NameNode、DFSZKFailoverController(zkfc)    slaver2    192.168.3.131      jdk、hadoop                        ResourceManager    slaver3    192.168.3.132      jdk、hadoop                        ResourceManager    slaver4    192.168.3.133      jdk、hadoop、zookeeper         DataNode、NodeManager、JournalNode、QuorumPeerMain    slaver5    192.168.3.134      jdk、hadoop、zookeeper         DataNode、NodeManager、JournalNode、QuorumPeerMain    slaver6    192.168.3.135      jdk、hadoop、zookeeper         DataNode、NodeManager、JournalNode、QuorumPeerMain

 2:开始测试动态增加节点和副本数量管理:

  首先将master节点的datanode挂掉(即少了一个保存文件的副本):

注意:hadoop datanode节点超时时间设置:

datanode进程死亡或者网络故障造成datanode无法与namenode通信, namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。 HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超时时长的计算公式为:     timeout  = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval。     而默认的heartbeat.recheck.interval 大小为5分钟,dfs.heartbeat.interval默认为3秒。     需要注意的是hdfs-site.xml 配置文件中的:       heartbeat.recheck.interval的单位为毫秒,       dfs.heartbeat.interval的单位为秒。 所以,举个例子,如果heartbeat.recheck.interval设置为5000(毫秒),dfs.heartbeat.interval设置为3(秒,默认),则总的超时时间为40秒。     hdfs-site.xml中的参数设置格式: <property> <name>heartbeat.recheck.interval</name> <value>2000</value> </property> <property> <name>dfs.heartbeat.interval</name> <value>1</value> </property>

 注意:HDFS冗余数据块的自动删除:

在日常维护hadoop集群的过程中发现这样一种情况:     某个节点由于网络故障或者DataNode进程死亡,被NameNode判定为死亡,     HDFS马上自动开始数据块的容错拷贝;     当该节点重新添加到集群中时,由于该节点上的数据其实并没有损坏,     所以造成了HDFS上某些block的备份数超过了设定的备份数。     通过观察发现,这些多余的数据块经过很长的一段时间才会被完全删除掉,     那么这个时间取决于什么呢?     该时间的长短跟数据块报告的间隔时间有关。     Datanode会定期将当前该结点上所有的BLOCK信息报告给Namenode,     参数dfs.blockreport.intervalMsec就是控制这个报告间隔的参数。     hdfs-site.xml文件中有一个参数: <property> <name>dfs.blockreport.intervalMsec</name> <value>10000</value> <description>Determines block reporting interval in milliseconds.</description> </property>     其中3600000为默认设置,3600000毫秒,即1个小时,也就是说,块报告的时间间隔为1个小时,所以经过了很长时间这些多余的块才被删除掉。通过实际测试发现,当把该参数调整的稍小一点的时候(60秒),多余的数据块确实很快就被删除了。

 3:停止一下集群,配置一下hadoop datanode节点超时时间设置和HDFS冗余数据块的自动删除,停止集群如下所示:

依次查看一下各个节点的进程启动情况:

然后将slaver5和slaver6的yarn进程停掉:

然后依次关掉zookeeper的进程:如master,slaver1和slaver2都一样,这里不再重复了:

[root@master bin]# ./zkServer.sh stop

现在修改配置一下:hadoop datanode节点超时时间设置和HDFS冗余数据块的自动删除的配置文件hdfs-site.xml:

hadoop datanode节点超时时间设置
hdfs-site.xml中的参数设置格式:

<property>
<name>heartbeat.recheck.interval</name>
<value>2000</value>
</property>
<property>
<name>dfs.heartbeat.interval</name>
<value>1</value>
</property>
HDFS冗余数据块的自动删除
hdfs-site.xml文件中有一个参数:

<property>
<name>dfs.blockreport.intervalMsec</name>
<value>10000</value>
<description>Determines block reporting interval in milliseconds.</description>
</property>

操作如下所示:

[root@slaver3 hadoop]# vim hdfs-site.xml

 将修改的hdfs-site.xml复制到其他6个节点上面,如下所示:

4:将集群启动起来:

   4.1:启动zookeeper集群(分别在master、slaver1、slaver2上启动zookeeper):

  4.2:启动journalnode(分别在master、slaver1、slaver2上执行)

4.3:千万不要执行格式化HDFS,千万不要执行格式化ZKFC(在slaver3上执行即可),不然还是报很多错误;

  4.4:然后在slaver3启动start-dfs.sh

现在可以去其他节点看看,全部进程都可以正常启动,如果你想启动yarn进程,下面启动yarn进程,slaver5节点和slaver6节点操作一样,这里只贴slaver5即可:

如果你耐心十足,搞了一天,想吐,这里还是再贴一下jps查看的进程情况吧:

5:然后将master的namenode干掉,看看Live Nodes是否变化:

经过14s后,活着的node数目就由3变成了2:

 如何新加一个datanode,再搞一个虚拟机(我再新建一个虚拟机,不知道我的电脑撑住撑不住,试试吧先),然后将hadoop的安装包复制过去,然后将datanode启动起来:好吧,最后没有弄出来,以后有机会好好补一下这点,动态增加节点和副本数量管理;

补充要点: 注意:hdfs动态扩容要点,将手动启动节点: hadoop-daemon.sh start namenode 启动namenode hadoop-daemon.sh start datanode 启动datanode.   即可以动态加入,只不过没写到slavers里面,下次重启以后,手动加入即可完成动态扩容了。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CaiRui

nginx的worker_processes优化

nginx的worker_processes参数 来源: http://bbs.linuxtone.org/thread-1062-1-1.html 分享一: ...

4677
来自专栏鬼谷君

zabbix告警“Zabbix poller processes more than 75% busy”

1313
来自专栏Linux运维学习之路

企业级memcached缓存数据库结合php使用与web管理memcached

环境 [root@cache01 ~]# cat /etc/redhat-release CentOS Linux release 7.4.1708 (Cor...

2086
来自专栏IT笔记

JavaWeb项目架构之Elasticsearch日志处理系统

Elasticsearch (ES)是一个基于 Lucene 的开源搜索引擎,它不但稳定、可靠、快速,而且也具有良好的水平扩展能力,是专门为分布式环境设计的。

6259
来自专栏SDNLAB

基于Opendaylight的packet-in flooding攻击的检测与防护

作者简介:智智方,西安电子科技大学硕士研究生,主要研究方向为SDN与网络安全,邮箱:675520574@qq.com

1171
来自专栏杨建荣的学习笔记

Datapump数据迁移前的准备工作(r9笔记第31天)

其实对于Datapump迁移而言,如果参与过XTTS,OGG,Veritas SF,外部表增量等迁移方式的话,会发现Datapump还是很简单清晰的,一个优点...

2573
来自专栏菩提树下的杨过

redis 学习笔记(4)-HA高可用方案Sentinel配置

上一节中介绍了master-slave模式,在最小配置:master、slave各一个节点的情况下,不管是master还是slave down掉一个,“完整的”...

1997
来自专栏Java帮帮-微信公众号-技术文章全总结

day07.HDFS学习【大数据教程】

分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析;

1244
来自专栏落花落雨不落叶

一个解决跨域问题的代理小工具

3388
来自专栏分布式系统进阶

利用Mesos构建多任务调度系统

2005

扫码关注云+社区