专栏首页别先生hadoop集群运行jps命令以后Datanode节点未启动的解决办法

hadoop集群运行jps命令以后Datanode节点未启动的解决办法

出现该问题的原因:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。

1:其实网上已经有解决办法了,这里自己脑补一下,也可以让别人看到我是怎么解决的。出现这个问题主要是和配置这个文件相关:core-site.xml;

<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop-2.4.1/tmp</value>
</property>

主要和配置的这个/home/hadoop/hadoop-2.4.1/tmp的这个tmp目录里面的(这个tmp目录是自己起的,自己开心就好);

而网上是这样解决的:

打开hdfs-site.xml里配置的datanode和namenode对应的目录,分别打开current文件夹里的VERSION,可以看到clusterID项正如日志里记录的一样,确实不一致,修改datanode里VERSION文件的clusterID 与namenode里的一致,再重新启动dfs(执行start-dfs.sh)再执行jps命令可以看到datanode已正常启动。

我感觉这样不是很畅快解决问题,所以直接/home/hadoop/hadoop-2.4.1/tmp/dfs/data/current下面的VERSION删除了,然后再执行一下又重新执行了格式化命令(hdfs namenode -format),最后启动start-dfs.sh和start-yarn.sh就可以了;

2:启动start-dfs.sh和start-yarn.sh显示节点的类别:

1:HDFS的守护进程     (1):主节点:Namenode、SecondaryNamenode     (2):从节点:Datanode 2:YARN的守护进程     (1):主节点:ResourceManager     (2):从节点:NodeManager    

3:心灵鸡汤:

有时候,也许坚持下去也不会有所成就,但是放弃肯定是一无所有......致自己;

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

    1:这个问题都被大家玩烂了,这里我也记载一下,方便以后脑补: 1 SLF4J: Class path contains multiple SLF4J bind...

    别先生
  • 在公司的局域网内,组长让你在自己的虚拟机部署项目,大家等着访问测试,该怎么办???

    1:首先推荐一篇博客吧(万分感谢,大佬们将非常实用的东西,以博客的形式记录下来,供我们这些菜鸟学习),关于vmware的三种链接方式,蛮全的,大家想仔细学的可以...

    别先生
  • 一脸懵逼加从入门到绝望学习hadoop之 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlE

    1:初学hadoop遇到各种错误,这里贴一下,方便以后脑补吧,报错如下: 主要是在window环境下面搞hadoop,而hadoop部署在linux操作系统上面...

    别先生
  • Power Query中错误值提醒的3种方式

    如果这些错误在产生前就能预判,并给与一定的提醒,那对于后续的使用会非常的方便,即使发生了错误,也能知道错误的原因以及怎么去修改错误。怎么去判断是否错误呢?可以使...

    逍遥之
  • Linux电源管理-Operating Performance Points(OPP)

    如今复杂的Soc由多个并行工作的子模块组成。在一个执行各种用例的操作系统中,不是Soc中的所有模块都一直以其最高的执行频率工作。为了实现这一目的,Soc中的子模...

    DragonKingZhu
  • Java实现二叉树层次遍历:从上往下打印出二叉树的每个节点,同层节点从左至右打印。

    bboy枫亭
  • MetInfo米拓6.2模板开发改造和商城模块插件v4升级优化修改PHP+Mysql

    米拓商城经过4个版本的升级,现已支持在线商城的主要功能,代码开源,支付接口丰富,响应式布局(支持电脑、手机、平板)本次升级主要新增了如下功能:

    用户5043035
  • 合成特朗普的西班牙语演讲,新研究实现跨语言语音克隆 | 一周AI最火论文

    呜啦啦啦啦啦啦啦大家好,本周的AI Scholar Weekly栏目又和大家见面啦!

    大数据文摘
  • Linux删除重复文件

    文章作者:Tyan 博客:noahsnail.com | CSDN | 简书

    Tyan
  • react-开发经验分享-树形结构的解析与运用(二)

    Mr. 柳上原

扫码关注云+社区

领取腾讯云代金券