Hadoop作业:任务无法报告状态601秒
Hadoop作业是指在Hadoop分布式计算框架下运行的任务。任务无法报告状态601秒的情况可能是由于以下原因之一：
- 网络故障：任务无法与Hadoop集群的主节点或其他任务节点进行通信，导致状态无法报告。解决方法可以是检查网络连接是否正常，确保网络稳定。
- 资源不足：任务所需的计算资源（如内存、CPU等）不足，导致任务无法正常执行和报告状态。解决方法可以是增加集群的计算资源，例如增加节点或调整节点的配置。
- 任务错误：任务本身存在错误或异常，导致无法报告状态。解决方法可以是检查任务的日志文件，查找错误信息并进行修复。
- Hadoop配置问题：Hadoop集群的配置可能存在问题，导致任务无法正常运行和报告状态。解决方法可以是检查Hadoop的配置文件，确保配置正确并与集群一致。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云Hadoop服务：提供了稳定可靠的Hadoop集群，支持大规模数据处理和分析。详情请参考：https://cloud.tencent.com/product/chdfs
- 腾讯云云服务器（CVM）：提供了可扩展的计算资源，用于部署和运行Hadoop集群。详情请参考：https://cloud.tencent.com/product/cvm
- 腾讯云对象存储（COS）：提供了高可用性和可扩展性的云存储服务，适用于存储和管理Hadoop作业的输入和输出数据。详情请参考：https://cloud.tencent.com/product/cos
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和情况进行。
相关·内容
3回答
在伪节点上运行hadoop作业时，任务失败并被终止。错误: Task attempt_在601秒内无法报告状态问题可能是什么？
浏览 0提问于2012-02-02得票数 5
回答已采纳
1)我有一个只有地图的Hadoop作业，它将数据流到Cassandra集群。是否还需要向hadoop作业报告进度？
我编写了一个示例代码，如下所示，以模拟问题，并使用以下代码。Task : attempt_201202061119_0001_m_000001_1，Status :Fail
浏览 1提问于2012-02-06得票数 2
我正在试图找到一个命令，可以用来列出所有失败的作业。"hadoop作业-list“列出了所有作业。是否有按状态筛选列表的方法？
浏览 3提问于2016-01-25得票数 0
回答已采纳
1回答
我的任务是运行数十个映射/减少作业。其中一些是IO密集型，有些是映射密集型，有些是减缩密集型。我希望能够监视当前使用的映射器和还原器的数量，这样，当释放一组映射器时，我可以将另一个映射器密集型作业推到集群中。我不想把它们堆在队列中，因为它们可能会阻塞映射器，而不会让还原剂密集型的映射器运行。
浏览 2提问于2014-11-26得票数 0
回答已采纳
1回答
我对oozie完全陌生，我正在创建一个工作流来运行一个hive查询，只需使用select语句显示一个表格的数据，但是一旦我提交了作业，它就会出现以下错误。JA017:与行动0000000-150519212325700相关联的未知hadoop作业job_local1866275230_0001 -oozi@adstest。这次行动失败了！
浏览 2提问于2015-05-20得票数 0
我有一个带有java操作节点的工作流作业。使用Hadoop 2.1.0.2.0.4.0-38和Oozie 3.3.2.2.0.4.0运行。当我提交作业时，我在Hadoop Resource Manager屏幕上看到2行。1.具有原始作业名称2.具有Oozie作业名称。具有Oozie作业名称的任务挂起于"RUNNING“状态，具有原始名称的任务处于"Accepted”状态。
浏览 0提问于2013-08-05得票数 2
4回答
在Ubuntu中，当我运行hadoop示例时：2000信息mapred.JobClient:任务Id : attempt_201303251213_0012_m_000000_2，状态:失败错误: Java堆空间 13/03
浏览 50提问于2013-03-25得票数 17
2回答
考虑到这一点，Hadoop流是不可能的，因为我不知道如何用Recursion实现它。有没有一种方法可以用递归函数来实现Hadoop流？
浏览 4提问于2013-11-21得票数 1
回答已采纳
我使用的是Cloudera的Hadoop发行版CDH-0.20.2CDH3u0。有没有办法使用在hadoop框架外运行的JAVA程序来获取作业跟踪器状态、任务跟踪器状态、计数器等信息？我尝试使用JMX收听，但hadoop提供的关于Jobtracker、tasktracker和datanode的信息非常少。它不提供任何与正在运行的作业状态相关的JMX属性，如映射完成百分比、减少完成百分比、任务完成百分比、尝试完成百分比
浏览 1提问于2011-07-08得票数 2
回答已采纳
我是Hadoop和Hive的新手。我使用Hive与Hadoop集成来执行查询。当我提交任何查询时，控制台上会显示以下日志消息：
在编译时确定的1项裁减任务中，有1项是启动作业:1为了改变减速器的平均负载(以字节为单位)：设置file=/tmp/root/hive_job_log_root= set = job_201203062223_0004，跟踪URL = //opt/hadoop_installation/hadoop
浏览 2提问于2014-01-27得票数 1
1回答
我们通过hadoop命令提交jar文件。
hadoop命令将jar文件复制到所有从节点并开始执行，或者如何工作，以及由谁执行？工作跟踪器还是Namenode？
浏览 0提问于2014-10-09得票数 4
回答已采纳
我目前在一个有8个从节点的Hadoop - 2.3.0集群上运行一些MapReduce作业，但是这些作业的执行时间比预期的要长。
如何测试map(或reduce)任务是否并行运行？
浏览 0提问于2015-04-11得票数 0
5回答
我创建了以下shell脚本来调用hadoop作业：/opt/hadoop/bin/hadoop jar /path/to/job.jar com.do.something <param-1> .../path/to/job.sh
Hadoop作业执行成功，并返回退出状态"0“。现在，为了每天自动化
浏览 6提问于2010-07-26得票数 1
我试图在Hadoop集群上启动H2O。遗憾的是，它不起作用，给了我一个错误，即找不到类water.hadoop.h2omapper。(JobContextImpl.java:186)at org.apache.hadoop.mapred.MapTask.runby: java.lang.ClassNotFoundException: Class water.hadoop.
浏览 18提问于2017-10-12得票数 1
2回答
所有Hadoop工作都有独特的职位。您可以使用jobid获取职务状态或职务计数器。问题是，我如何才能得到我刚刚从我的脚本运行的工作？当然，我想以可靠和容易的方式(如果可能的话)来做这件事。3)当我有jobid时，我可以执行hadoop作业-status和hadoop作业-counter查询。更新：
同步情况(等待完成，获得jobid，然后请求状态/计数器)似乎是所需的最小值，但有时使用起来并不方便。有时，我想同时运行几个hadoop流
浏览 0提问于2012-06-25得票数 1
回答已采纳
1回答
我希望在给定集群上提交作业，所有作业都应该按顺序运行(如AWS EMR)，也就是说，如果第一个作业处于运行状态，那么接下来的作业将进入待定状态，完成第一个作业后，第二个作业开始运行。我试着在集群上提交作业，但它并行运行所有作业--没有作业进入待定状态。/etc&#
浏览 0提问于2018-12-19得票数 1
回答已采纳
1回答
来自Hadoop的权威指南
·提交MapReduce作业的客户端。
·纱线资源管理器，负责协调集群上计算资源的分配。·MapReduce应用程序主程序，它协调运行Map的任务--减少作业。应用程序主任务和MapReduce任务在由资源管理器调度并由节点管理器管理的容器中运行。在用Java编写的MapReduce程序中，我们需要三种条件:一个映射函数、一个约简函数和一些带有main()函数的代码来运行作业。M
浏览 0提问于2019-05-15得票数 1
在hadoop任务运行时，我正在测试“使用UPS关闭服务器”，我有两个问题。
如果不支持"1“，那么在运行hadoop任务时开始关闭进程安全吗？或者，我还需要做些什么来保护hadoop系统吗？(集群？)
浏览 0提问于2016-02-11得票数 2
我试图使用以下命令运行hadoop作业在本例中，我无法看到使用网页(端口50030)提交的jar及其状态。但如果我做了我可以看到同一端口(50030)的进展情况。这两个命令有什么区别，我搜索了一下，发现hadoop提交流作业
任何洞察力都会有很大帮助。
浏览 3提问于2014-09-08得票数 0
回答已采纳
在过去的几周里，我们每天使用hadoop streaming来计算一些报告。最近我们对我们的程序做了一个更改，如果输入的大小小于10MB，我们将在JobConf中设置mapred.job.tracker=local，然后作业将在本地运行。但是昨天晚上，许多作业都失败了，runningJob.getJobState()返回了状态3。我不知道为什么，而且stderr中什么也没有。
我无法在谷歌上搜索到与这个问题相关的任何东西。也许它只是hadoop提供的开发中的调试解决方案
浏览 0提问于2013-01-09得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
