1回答
我想修改Oozie代码，在Hadoop中引入一种新的调度模式。我对Oozie很陌生。我读到有一个名为workflow.xml的文件，其中包含由Hadoop执行的操作。
浏览 2提问于2014-05-17得票数 1
回答已采纳
这就是Hadoop当前的工作方式:如果一个reducer失败(例如抛出一个NullPointerException )，Hadoop将重新调度另一个reducer来完成失败的reducer的任务。是否可以将Hadoop配置为不重新调度发生故障的reducer，即，如果任何reducer发生故障，Hadoop仅报告故障，而不执行任何其他操作。
当然，没有失败的reducers将继续完成。
浏览 1提问于2010-08-18得票数 0
1回答
Hadoop中的作业和任务调度
、、、、
当我读到关于延迟公平调度的文章时，我对Hadoop中的“作业调度”和“任务调度”这两个术语并不感到困惑。如果我的假设是错误的，请纠正我：
每个作业可以有多个映射和减少任务，它们是如何分配给每
浏览 6提问于2013-09-29得票数 5
回答已采纳
2回答
可以在Eclipse中调试Hadoop的源代码吗?我不是在问map reduce任务。我想看看Hadoop源代码的哪一部分负责调度map reduce任务，以及它是如何工作的。
浏览 2提问于2014-04-23得票数 2
2回答
我是Hadoop的新手，正在开发一个基于给定算法/策略的自定义调度器。
因此，我想知道如何手动/以编程方式将map/reduce任务分配给Hadoop上的特定计算机。
浏览 0提问于2015-04-18得票数 0
这是Hadoop作业的典型main方法： System.exit(exitCode); ...
当我运行这个作业hadoopMyHadoopJobDriver时，上面的是在任务跟踪器上自己的JVM中执行的吗？，那么一旦作业被调度
浏览 5提问于2012-10-29得票数 0
回答已采纳
我的集群有5个节点，我的问题是:我可以调度运行哪些映射任务到哪个节点吗？例如，让1号地图在node1中运行，3号地图在node3中运行，9号地图在node5中运行。
浏览 3提问于2013-03-27得票数 1
谁能告诉我，现有的MapReduce和YARN之间的区别是什么，因为我找不到这两者之间的所有明显区别？谢谢!
浏览 0提问于2013-08-27得票数 6
回答已采纳
1回答
我们已经在服务器上安装了Hadoop2.5。是否可以使用Hadoop部署星火计划？我希望Spark使用现有的Yarn来调度任务，并能够读写现有的HDFS。我怎样才能做到这一点？
浏览 3提问于2015-06-25得票数 0
1回答
当我在地图任务中移除网线时，hadoop等待状态更新100秒钟(由于其值为100000)
在此之后，我可以看到映射任务失败，hadoop启动容器清理需要超过10分钟，而且它也不调度失败的任务anywhere.the，我发现从应用程序主机到丢失的node.After，哪个任务在另一个节点上得到调度时，没有路由托管异常的错误。我希望减少尝试容器清理的时间，这样就可以在任何节点的映射任务超时之后对任务进行调度</e
浏览 0提问于2016-05-14得票数 1
是否可以配置cgroups或Hadoop，使TaskTracker产生的每个进程都分配给特定的cgroup？这是一个真实的问题还是更多的理论问题？oom-killer会真的杀死Hadoop的TaskTracker吗?还是他会先杀死派生的进程？如果后者在大多数情况下是
浏览 0提问于2013-02-27得票数 2
2回答
使用oozie触发Pig作业
、、、、
现在我准备了一个jar文件，我可以作为hadoop jar jarname运行它，但问题是如何使用oozie调度程序触发相同的作业。用oozie运行这样的任务是可能的吗？安排此类任务的最佳方法是什么？
浏览 0提问于2012-10-31得票数 0
回答已采纳
我检查了几个文档，但我对Hadoop中保留数据局部性的任务调度有疑问。假设任务t的输入数据是D1，并且复制因子是3(这意味着我在3个不同的服务器上存储了3个D1副本)，那么当t到达时，将在哪个服务器上分配更严重的t？(考虑默认调度程序)。
浏览 1提问于2013-01-09得票数 0
我很抱歉在这里有点泛泛，但我对spark内部的作业调度是如何工作的感到有点困惑。从文档中，我了解到它是Hadoop公平调度器的某种实现。我无法理解这里的用户到底是谁(是linux用户、hadoop用户还是spark客户端？)。我也无法理解这里的池是如何定义的。例如，在我的hadoop集群中，我将资源分配给了两个不同的池(让我们称它们为team 1和team 2)。但是在spark集群中，不同的池和其中的用户不会实例化自己的spark上下文吗？我对driver如何实例化spark上下文，然后将它们拆分成<e
浏览 2提问于2015-04-24得票数 6
2回答
我需要根据作业执行时间比较两种Hadoop调度算法。我可以使用什么来获取所有任务的执行持续时间？
浏览 0提问于2013-06-05得票数 1
回答已采纳
3回答
我在一个集群上运行Hadoop作业，该集群由我们的几个应用程序共享。我们大约有40个节点和4个映射器插槽/节点。每当我的作业(只有mapper)运行时，它会占用所有160个插槽，并阻止其他作业运行。我尝试在作业"mapred.tasktracker.map.tasks.maximum=1“中设置属性，并将任务代码中的"mapred.map.tasks”设置为30 (以将其限制为仅30个节点)。
浏览 0提问于2014-02-05得票数 1
1回答
我正在hadoop上运行一些map reduce任务。映射器用于生成数据，因此不依赖于hdfs块的位置。为了测试我的系统，我使用了2个节点和一个主节点。我正在使用yarn在hadoop-2.0上进行测试。
我发现hadoop有一些非常不舒服的地方。我已经将它配置为运行8个地图任务。不幸的是，hadoop在一个节点上启动了所有8个map任务，而另一个节点几乎是理想的。有4个减速器，它也不平衡这些减速器。当发生这种情况时，它确实会导致很差的性能。我在作业跟踪器和任务
浏览 3提问于2014-02-08得票数 1
我正在尝试创建一个Hadoop集群。我使用的是一个经过修改的Hadoop源，它将根据机架的工作负载将任务调度到不同的机架。为了测试这一点，我希望我的一半数据节点在一个机架上，另一半在不同的机架上。
浏览 0提问于2017-10-07得票数 0
1回答
用Hadoop和Nutch作为搜索引擎，我能做什么呢？我知道nutch是用来构建网络爬虫的。但我找不到完美的照片。我可以在nutch中使用mapreduce并执行一些mapreduce工作吗？
浏览 0提问于2011-09-27得票数 0
回答已采纳
1回答
我在Hadoop集群中工作，我想调度一个任务，但是这个任务(Python脚本)在我的边缘节点上本地运行。
浏览 15提问于2021-04-20得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
云直播活动推荐
腾讯云开发者
