hadoop集群运行jps命令以后Datanode节点未启动的解决办法

出现该问题的原因:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。

1:其实网上已经有解决办法了,这里自己脑补一下,也可以让别人看到我是怎么解决的。出现这个问题主要是和配置这个文件相关:core-site.xml;

<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop-2.4.1/tmp</value>
</property>

主要和配置的这个/home/hadoop/hadoop-2.4.1/tmp的这个tmp目录里面的(这个tmp目录是自己起的,自己开心就好);

而网上是这样解决的:

打开hdfs-site.xml里配置的datanode和namenode对应的目录,分别打开current文件夹里的VERSION,可以看到clusterID项正如日志里记录的一样,确实不一致,修改datanode里VERSION文件的clusterID 与namenode里的一致,再重新启动dfs(执行start-dfs.sh)再执行jps命令可以看到datanode已正常启动。

我感觉这样不是很畅快解决问题,所以直接/home/hadoop/hadoop-2.4.1/tmp/dfs/data/current下面的VERSION删除了,然后再执行一下又重新执行了格式化命令(hdfs namenode -format),最后启动start-dfs.sh和start-yarn.sh就可以了;

2:启动start-dfs.sh和start-yarn.sh显示节点的类别:

1:HDFS的守护进程     (1):主节点:Namenode、SecondaryNamenode     (2):从节点:Datanode 2:YARN的守护进程     (1):主节点:ResourceManager     (2):从节点:NodeManager    

3:心灵鸡汤:

有时候,也许坚持下去也不会有所成就,但是放弃肯定是一无所有......致自己;

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SDNLAB

ODL十大问题:如何用postman控制ODL查看和下发流表

Opendaylight就不介绍了,资料非常丰富。postman是Chrome浏览器的一个插件,常常会被用来调用服务器端的restful接口进行数据请求 下面记...

3578
来自专栏海天一树

Python发送邮件

Python发邮件需要有SMTP服务,可以在本地搭建SMTP服务,也可以使用第三方的SMTP服务(比如网易邮箱或QQ邮箱)。 这里我使用了网易126邮箱来发邮件...

1082
来自专栏FreeBuf

挖洞经验 | 利用密码重置功能实现账号劫持

最近,我参加了某平台邀请的漏洞测试项目,在其中发现了一个独特的账号劫持漏洞,整个漏洞发现过程非常意外也非常幸运,通过密码重置功能就能实现账号劫持,在此我就把它写...

762
来自专栏小俊博客

VPS使用SolusVM开设OpenVZ的NAT机器全步骤教程

现在到处都是卖NAT机器的网站,俗称oneman,就是一个人可以搞定一切IDC业务(混IDC圈的都知道吧),对,没错,我相信大家手里VPS多的很,吃灰的也多,为...

1082
来自专栏PHP技术

总结

1.安装完成后备份快照 2.不插网线使用虚拟机,查看vmware的IP网段,设置linux系统相同的网段。 3.rpm -qa 软件名字 //查询软件是...

3015
来自专栏点滴积累

OpenStack(企业私有云)万里长征第五步——虚拟机Migrate&Resize

一、前言 上一篇文章讲了OpenStack的部署和简单操作,今天介绍一下如何实现虚拟机的Migrate以及Resize。Migrate操作和Resize操作基本...

3895
来自专栏Android开发指南

1.第三方登陆

2929
来自专栏左瞅瞅,右瞅瞅

zabbix上线之路(三)——zabbix报警

set smtp-auth-user=xxx@163.comsmtp-auth-password=123456

1656
来自专栏大数据学习笔记

Kafka详细教程:下载、安装、配置与集群部署

1、下载 [root@node1 ~]# wget http://mirror.bit.edu.cn/apache/kafka/0.11.0.1/kafka_2...

2605
来自专栏极客猴

搭建手机抓包环境

智能手机的普及,这使得移动互联网成为另一个流量巨头。越来越多的公司也会转而直接提供 App 来展示内容。例如微信以及其生态(微信公众号、小程序)、抖音等。这也说...

702

扫码关注云+社区