hadoop集群运行jps命令以后Datanode节点未启动的解决办法

出现该问题的原因:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。

1:其实网上已经有解决办法了,这里自己脑补一下,也可以让别人看到我是怎么解决的。出现这个问题主要是和配置这个文件相关:core-site.xml;

<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop-2.4.1/tmp</value>
</property>

主要和配置的这个/home/hadoop/hadoop-2.4.1/tmp的这个tmp目录里面的(这个tmp目录是自己起的,自己开心就好);

而网上是这样解决的:

打开hdfs-site.xml里配置的datanode和namenode对应的目录,分别打开current文件夹里的VERSION,可以看到clusterID项正如日志里记录的一样,确实不一致,修改datanode里VERSION文件的clusterID 与namenode里的一致,再重新启动dfs(执行start-dfs.sh)再执行jps命令可以看到datanode已正常启动。

我感觉这样不是很畅快解决问题,所以直接/home/hadoop/hadoop-2.4.1/tmp/dfs/data/current下面的VERSION删除了,然后再执行一下又重新执行了格式化命令(hdfs namenode -format),最后启动start-dfs.sh和start-yarn.sh就可以了;

2:启动start-dfs.sh和start-yarn.sh显示节点的类别:

1:HDFS的守护进程     (1):主节点:Namenode、SecondaryNamenode     (2):从节点:Datanode 2:YARN的守护进程     (1):主节点:ResourceManager     (2):从节点:NodeManager    

3:心灵鸡汤:

有时候,也许坚持下去也不会有所成就,但是放弃肯定是一无所有......致自己;

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张善友的专栏

CentOS 6 使用 yum 安装MongoDB及服务器端配置

安装MongoDB的方法有很多种,可以源代码安装,在Centos也可以用yum源安装的方法。由于MongoDB更新得比较快,我比较喜欢用yum源安装的方法。64...

2569
来自专栏技术博文

linux命令总结

cat tail -f 日 志 文 件 说明 /var/log/message 系统启动后的信息和错误日志,是Red Hat Linux中最常用的日志之一...

31410
来自专栏农夫安全

python脚本下载小密圈中的内容

这个python脚本主要的目的是为了批量下载指定小密圈里的所有文件,我们就以安全文库为例:

1173
来自专栏木子昭的博客

Sublime中code优雅粘贴到word中

对于记录的任务, Markdown已是标配,但实验报告, 毕业论文还是躲不开word, 这里推荐一种可以将sublime中的代码优雅粘贴到word中的subl...

2806
来自专栏编程直播室

魅族手机调试和VID一、 现象:二、 原因三、 解决方法:四、 其它手机类似问题处理:五、科普VID:

2233
来自专栏北京马哥教育

手把手教你用永恒之蓝(Eternalblue)勒索病毒漏洞的高阶用法

? 作者:7sDream 来源: https://www.zybuluo.com/7sDream/note/729295 安装 MSF Linux & Ma...

3938
来自专栏张戈的专栏

给已安装的Linux新增Swap交换分区

跟了我 5 年多的本本已步入花甲,CPU 严重老化,运行 Windows 异常吃力,于是考虑换成 Linux 试试。忙活了一天,测试了 2 个“家用”Linux...

5056
来自专栏云计算教程系列

如何在Ubuntu 18.04上安装和配置VNC

虚拟网络计算(VNC)是一种连接系统,允许您使用键盘和鼠标与远程服务器上的图形桌面环境进行交互。它使得对于不熟悉命令行的用户更容易管理远程服务器上的文件,软件和...

1.1K0
来自专栏我的博客

服务器出现500错误,排查总结

今天刚刚建立的web服务器,访问的时候出现500错误。 错误代码详解:http://www.0377joyous.com/archives/572.html 首...

4069
来自专栏mwangblog

Shell中的命令别名、命令历史和命令替换

1114

扫码关注云+社区