首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

我对Hadoop2.7感到困惑。运行start-all.sh后,在jps列表中找不到jobtracker和tasktracker,为什么?

Hadoop是一个开源的分布式计算框架,用于处理大规模数据集的存储和处理。Hadoop2.7是Hadoop的一个版本,它引入了YARN(Yet Another Resource Negotiator)作为资源管理器,取代了旧版本中的JobTracker和TaskTracker。

在Hadoop2.7中,JobTracker和TaskTracker被YARN中的ResourceManager和NodeManager所取代。YARN的设计目标是提供更好的资源管理和作业调度能力,以支持更多类型的计算框架,而不仅仅是MapReduce。因此,当你运行start-all.sh启动Hadoop集群时,在jps列表中找不到jobtracker和tasktracker是正常的。

在Hadoop2.7中,你可以通过以下命令来查看正在运行的YARN组件:

代码语言:txt
复制
yarn node -list

这将列出所有的NodeManager,表示集群中的各个节点。你还可以使用以下命令来查看正在运行的ResourceManager:

代码语言:txt
复制
yarn rmadmin -getServiceState rm1

其中,rm1是ResourceManager的标识符,你可以根据实际情况进行替换。

总结起来,Hadoop2.7中没有jobtracker和tasktracker,而是使用YARN中的ResourceManager和NodeManager来进行资源管理和作业调度。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Hadoop环境的搭建过程中的问题(伪分布)

2、执行启动命令bin/start-all.sh后出现:JAVA_HOMEis not set 但是执行java -version后可以看到java版本信息,证明系统的jdk没有配置错误。...3、执行jps发现没有启动NameNode以及JobTracker www.linuxidc.com@www.linuxidc.com:~/hadoop-0.20.2$jps 5457SecondaryNameNode...7491Jps 5672TaskTracker 5323DataNode 根据网友提示,可能是由于运行hadoop的用户对/data/hadoop/name1这个目录没有访问权限。...因此,进入root中执行上述命令运行hadoop,结果显示完全正确,只是每次启动一个java程序都要输入密码很麻烦。...PS:(与云计算无关)之前jdk8出来了,我就配置在自己的ubuntu上了。但是安装eclipse和Android studio的时候发现各种问题。于是我又配置了系统自带的OpenJDK。

36720

Hadoop使用(二)

既然 Hadoop 守护进程已经在运行了,现在看看每个守护进程在 Hadoop 框架中的作用。namenode 是 Hadoop 中的主服务器,它管理文件系统名称空间和对集群中存储的文件的访问。...在每个 Hadoop 集群中可以找到一个 namenode 和一个 secondary namenode。 datanode 管理连接到节点的存储(一个集群中可以有多个节点)。...jobtracker 和 tasktracker 采用主-从形式,jobtracker 跨 datanode 分发工作,而 tasktracker 执行任务。...使用jps查看进程 要想检查守护进程是否正在运行,可以使用 jps 命令(这是用于 JVM 进程的 ps 实用程序)。这个命令列出 5 个守护进程及其进程标识符。...节点上修改$HADOOP_HOME/conf/slaves文件,加入新加节点主机名,再建立到新加节点无密码的SSH连接 运行启动命令: start-all.sh 然后可以通过http://(Master

726100
  • Hadoop连载系列之一:Hadoop集群搭建

    4.MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务,这些任务分布在不同的从节点上。...Master机器配置文件中:masters文件中指定的是要运行的secondarynamenode,slaves文件指定的是要运行的datanode和tasktracker Master机器主要配置NameNode...和JobTracker的角色,负责总管分布式数据和分解任务的执行;Salve机器配置DataNode和TaskTracker的角色,负责分布式数据存储以及任务的执行。...用于执行MapReduce任务的机器角色有两个:一个是JobTracker;另一个是TaskTracker,JobTracker是用于调度工作的,TaskTracker是用于执行工作的。...启动hadoop成功后,在Master 中的tmp 文件夹中生成了dfs 文件夹,在Slave中的tmp 文件夹中均生成了 dfs 文件夹和mapred 文件夹。

    87820

    Hadoop完全分布式集群搭建

    Hadoop分布式集群搭搭建(环境:Linux虚拟机上) 1.准备工作:(规划主机名,ip及用途,先搭建三台,第四台动态的添加 用途栏中,也可以把namenode,secondaryNamenode及jobTracker...,报错safemode相关的Exception 执行命令:hadoop dfsadmin -safemode leave(退出安全模式) 再次启动hadoop 然后jps一下,查看各台机器,看是否和规划好的用途一样即可...) OK,如果和规划好的一样,就大功告成了. 5.动态添加一台节点 (在实际生产过程中,很常见,很实用) cloud04    192.168.1.104    datanode/taskTracker...的那台机器已经配置好了) 5.3重启机器后,分别启动datanode和taskTracker 指令:hadoop-daemon.sh start datanode hadoop-daemon.sh start...tasktracker 5.4在cloud01上即namenode所在节点上运行命令刷新 hadoop dfsadmin -refreshNodes 5.5验证 http://linux的ip:50070

    44010

    Hadoop集群配置(最全面总结)

    说明: 保证虚拟机的ip和主机的ip在同一个ip段,这样几个虚拟机和主机之间可以相互通信。...这会把该服务器添加到你的已知主机的列表中 发现链接成功,并且无需密码。...当这个值是一个逗号分割的目录列表时,nametable数据将会被复制到所有目录中做冗余备份。 2) dfs.data.dir是DataNode存放块数据的本地文件系统路径,逗号分割的列表。...在分配的JobTracker上,运行下面的命令启动Map/Reduce: $bin/start-mapred.sh (单独启动Map/Reduce) bin/start-mapred.sh脚本会参照JobTracker...4) 使用jps查看进程 要想检查守护进程是否正在运行,可以使用 jps 命令(这是用于 JVM 进程的ps 实用程序)。这个命令列出 5 个守护进程及其进程标识符。

    2K30

    Hadoop Installation - Single Node Setup

    -bin.tar.gz 2.配置Java环境 [该部分直接摘自我之前Android和OpenCV开发中的配置] ①下载Oracle JDK,下载的版本是JDK1.7.0_40 ②下载之后解压即可,解压路径为...up security, chmod from 755 to 750... sudo chmod 750 tmp #我习惯用777 #logs的配置和tmp一样 (7)配置hadoop的conf文件夹下的文件...hduser@ubuntu:~$ start-all.sh (10)执行jps查看进程 hduser@ubuntu:~$ jps 5620 JobTracker 5313 DataNode 5541...SecondaryNameNode 5897 Jps 5851 TaskTracker 5041 NameNode OK!...如果比较心急,可以按照推荐的教程运行个MapReduce任务试试看啦,哈哈哈 如果你需要配置成集群模式的话还是可以参考好友田俊童鞋的Hadoop的安装部署与配置,如果喜欢的话不防看下好友的这篇【翻译】Writing

    49040

    Hadoop使用(一)

    hadoop框架 Hadoop使用主/从(Master/Slave)架构,主要角色有NameNode,DataNode,secondary NameNode,JobTracker,TaskTracker...其中NameNode,secondary NameNode,JobTracker运行在Master节点上,DataNode和TaskTracker运行在Slave节点上。...2,DataNode 集群中每个从服务器都运行一个DataNode后台程序,后台程序负责把HDFS数据块读写到本地文件系统。...4,JobTracker JobTracker后台程序用来连接应用程序与Hadoop,用户应用提交到集群后,由JobTracker决定哪个文件处理哪个task执行,一旦某个task失败,JobTracker...安装eclipse插件 插件的路径在0.21下有所更改,路径如下 ? 将插件拷到eclipse pluglin目录下 重启eclipse 启动后多出一个目录 就可以使用eclipse进行编程了。

    65940

    编译及调试 Hadoop 源代码

    Hadoop 在伪分布式模式下的编译和调试方法,其中,调试方法主要介绍使用 Eclipse 远程调试和打印调试日志两种。...调试过程可分三步进行: 步骤 1:调试模式下启动 Hadoop在 Hadoop 安装目录下运行内容如下的 Shell 脚本: export HADOOP_JOBTRACKER_OPTS="-Xdebug...-Xrunjdwp:transport=dt_socket,address=878 8,server=y,suspend=y" bin/start-all.sh 如果脚本运行成功,则可以看到 Shell...在 Hadoop 源代码中,大部分 Java 文件中存在调试日志(DEBUG 级别日志),但默认情况下,日志级别是 INFO。为了查看更详细的运行状态,可采用以下几种方法打开DEBUG 日志。...JobTracker 的调试级别修改为 DEBUG,重新启动 Hadoop 后便可以看到该调试信息。

    1.9K70

    Hadoop 面试,来看这篇就够了

    ,交由作业调度器进行调度,并对其进行初始化 7、创建运行任务列表,作业调度去首先从共享文件系统中获取 JobClient 已经计算好的输入划分信息(图中 step6),然后为每个划分创建一个 Map 任务...在 MapReduce 框架中,作业执行受两种类型的进程控制: 一个称为 JobTracker 的主要进程,它协调在集群上运行的所有作业,分配要在 TaskTracker 上运行的 map 和 reduce...解决可伸缩性问题 在 Hadoop MapReduce 中,JobTracker 具有两种不同的职责: 管理集群中的计算资源,这涉及到维护活动节点列表、可用和占用的 map 和 reduce slots...列表,以及依据所选的调度策略将可用 slots 分配给合适的作业和任务 协调在集群上运行的所有任务,这涉及到指导 TaskTracker 启动 map 和 reduce 任务,监视任务的执行,重新启动失败的任务...在新设计中,这个概念通过将 JobTracker 的双重职责(集群资源管理和任务协调)分开为两种不同类型的进程来反映。

    56320

    Windows平台下安装Hadoop

    3、配置环境变量   在“我的电脑”上点击右键,选择菜单中的“属性",点击属性对话框上的高级页签,点击”环境变量"按钮,在系统变量列表里双击“Path”变量,在变量值后输入安装的Cygwin的bin目录...(2)伪分布模式     可以把伪分布模式看作是只有一个节点的集群,在这个集群中,这个节点既是Master,也是Slave,既是NameNode,也是DataNode,既是JobTracker,也是TaskTracker...执行正确命令后如下图所示: ?   输入命令 bin/start-all.sh,启动所有进程,如下图:   ?...第一次启动后,如果都不能浏览,或不能浏览某一个,退出Cygwin,重新打开Cygwin,执行bin/start-all.sh命令。...参考文献: 本文参考和引用了《Hadoop实战》(作者:陆嘉恒)中的章节“2.3在Windows上安装与配置Hadoop”。 特此声明,如果涉及到版权问题,请告知。

    1.2K110

    buntu-16.04 详细安装教程(图文)附下载地址

    如何给Ubuntu 安装Vmware Tools http://jingyan.baidu.com/article/3065b3b6e8dedabecff8a435.html 虚拟机中ubuntu如何安装.../www.cnblogs.com/rond/p/3688529.html  jps找不到NameNode 解决方案 单机伪分布式 http://www.linuxidc.com/Linux/2013-01...再次jps /hadoop/hadoop-1.2.1/bin# jps 6208 Jps 5915 SecondaryNameNode 5999 JobTracker 5610 NameNode...6143 TaskTracker 5771 DataNode ubuntu ~/.profile ~:主文件夹    ~表示主文件夹 .  ...安装步骤 英文版安装(建议安装英文版本,安装中文版时,有按钮在虚拟机看不到,安装卡住) 中文简体版本安装,分配完成磁盘后,下一步按钮未显示(虚拟机问题)。建议一般安装英文版本; ? ? ? ? ?

    1.2K30

    MapReduce分布式编程

    [root@bigdata mycode]# start-all.sh 2、在家目录下创建文件夹mycode,在该文件下创建文件word.txt,并在该文件中输入如下内容: [root@bigdata...基本框架结构如下所示: 1、Client 每一个Job在Client端将运行MapReduce程序所需要的所有Jar文件和类的集合,打包成一个Jar文件存储在HDFS中,并把文件路径提交到...3、TaskTracker TaskTracker主要负责汇报心跳和执行JobTracker分发的任务。...TaskTracker会周期性地通过HeartBeat将本节点上资源的使用情况和任务的运行进度汇报给JobTracker,JobTracker会根据心跳信息和当前作业运行情况为TaskTracker下达任务...TaskTracker分布在Map-Reduce集群每个节点上,主要是监视所在机器的资源情况和当前机器的tasks运行状况。

    9310

    Windows平台下安装Hadoop

    3、配置环境变量   在“我的电脑”上点击右键,选择菜单中的“属性",点击属性对话框上的高级页签,点击”环境变量"按钮,在系统变量列表里双击“Path”变量,在变量值后输入安装的Cygwin的bin目录...(2)伪分布模式     可以把伪分布模式看作是只有一个节点的集群,在这个集群中,这个节点既是Master,也是Slave,既是NameNode,也是DataNode,既是JobTracker,也是TaskTracker...执行正确命令后如下图所示: ?   输入命令 bin/start-all.sh,启动所有进程,如下图:   ?...第一次启动后,如果都不能浏览,或不能浏览某一个,退出Cygwin,重新打开Cygwin,执行bin/start-all.sh命令。...参考文献: 本文参考和引用了《Hadoop实战》(作者:陆嘉恒)中的章节“2.3在Windows上安装与配置Hadoop”。 特此声明,如果涉及到版权问题,请告知。

    1K10

    Hadoop和大数据分析简介

    节点上) JobTracker(运行在master节点上) TaskTracker(运行在slave节点上) 译者注:在MapReduce中,一个准备提交执行的应用程序称为“作业(job)”,而从一个作业划分出的运行于各个计算节点的工作单元称为...DataNode DataNode运行在所有的slave 机器上,并实际存储集群的所有数据。DataNode定期向NameNode报告存储的块列表。...一旦完成了Hadoop的配置,您可以尝试下面给出的示例: $HADOOP_HOME/bin/hadoop start-all.sh jps mkdir input nano wordsIn \\fill...使用jps命令可以查询系统上运行的所有Java虚拟机。您应该看到在您的系统上运行以下服务。...本文涵盖了大数据,分析和Hadoop的各个方面。我主要关注Hadoop架构,并指出Hadoop在容错和恢复方面的漏洞。我们还特别了解了NameNode和Job Tracker如何成为系统中的瓶颈。

    1K40

    Hadoop框架:单服务下伪分布式集群搭建

    1、配置hadoop-env root# vim hadoop-env.sh # 修改前 export JAVA_HOME= # 修改后 export JAVA_HOME=/opt/jdk1.8 2、配置...指定MapReduce程序资源在调度集群上运行。如果不指定为yarn,那么MapReduce程序就只会在本地运行而非在整个集群中运行。...[hadoop2.7]# bin/hdfs namenode -format 格式化NameNode,会产生新的clusterID,导致NameNode和DataNode的集群id不一致,集群找不到已往数据...所以,格式NameNode时,一定要停止相关进程,删除data数据和log日志,然后再格式化NameNode。clusterID在如下目录中的VERSION文件里,可自行查看对比。...jps查看状态 [root@localhost hadoop2.7]# jps 2450 Jps 2276 NameNode 2379 DataNode Web界面查看 需要Linux关闭防火墙和相关安全增强控制

    32510
    领券