腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
修改oozie代码
hadoop
、
oozie
、
job-scheduling
我想修改Oozie代码,在
Hadoop
中引入一种新的
调度
模式。我对Oozie很陌生。我读到有一个名为workflow.xml的文件,其中包含由
Hadoop
执行的操作。
浏览 2
提问于2014-05-17
得票数 1
回答已采纳
2
回答
Hadoop
:不要重新
调度
失败的reducer
hadoop
这就是
Hadoop
当前的工作方式:如果一个reducer失败(例如抛出一个NullPointerException ),
Hadoop
将重新
调度
另一个reducer来完成失败的reducer的
任务
。是否可以将
Hadoop
配置为不重新
调度
发生故障的reducer,即,如果任何reducer发生故障,
Hadoop
仅报告故障,而不执行任何其他操作。 当然,没有失败的reducers将继续完成。
浏览 1
提问于2010-08-18
得票数 0
1
回答
Hadoop
中的作业和
任务
调度
java
、
hadoop
、
mapreduce
、
mapper
、
reducers
当我读到关于延迟公平
调度
的文章时,我对
Hadoop
中的“作业
调度
”和“
任务
调度
”这两个术语并不感到困惑。如果我的假设是错误的,请纠正我: 每个作业可以有多个映射和减少
任务
,它们是如何分配给每
浏览 6
提问于2013-09-29
得票数 5
回答已采纳
2
回答
在eclipse中调试
hadoop
debugging
、
hadoop
、
mapreduce
可以在Eclipse中调试
Hadoop
的源代码吗?我不是在问map reduce
任务
。我想看看
Hadoop
源代码的哪一部分负责
调度
map reduce
任务
,以及它是如何工作的。
浏览 2
提问于2014-04-23
得票数 2
2
回答
手动将
任务
分配给计算机
hadoop
、
mapreduce
我是
Hadoop
的新手,正在开发一个基于给定算法/策略的自定义
调度
器。 因此,我想知道如何手动/以编程方式将map/reduce
任务
分配给
Hadoop
上的特定计算机。
浏览 0
提问于2015-04-18
得票数 0
1
回答
Hadoop
:在映射
任务
之前,作业首先在哪里执行?
architecture
、
hadoop
这是
Hadoop
作业的典型main方法: System.exit(exitCode); ... 当我运行这个作业
hadoop
MyHadoopJobDriver时,上面的是在
任务
跟踪器上自己的JVM中执行的吗?,那么一旦作业被
调度
浏览 5
提问于2012-10-29
得票数 0
回答已采纳
1
回答
如何在不同节点集群中
调度
hadoop
map
任务
hadoop
、
mapreduce
、
hdfs
我的集群有5个节点,我的问题是:我可以
调度
运行哪些映射
任务
到哪个节点吗?例如,让1号地图在node1中运行,3号地图在node3中运行,9号地图在node5中运行。
浏览 3
提问于2013-03-27
得票数 1
2
回答
现有MapReduce与纱线(MRv2)的区别
hadoop
、
mapreduce
、
hadoop-yarn
谁能告诉我,现有的MapReduce和YARN之间的区别是什么,因为我找不到这两者之间的所有明显区别?谢谢!
浏览 0
提问于2013-08-27
得票数 6
回答已采纳
1
回答
如何在现有
Hadoop
2.x中使用spark
scala
、
hadoop
、
apache-spark
、
bigdata
我们已经在服务器上安装了
Hadoop
2.5。是否可以使用
Hadoop
部署星火计划?我希望Spark使用现有的Yarn来
调度
任务
,并能够读写现有的HDFS。我怎样才能做到这一点?
浏览 3
提问于2015-06-25
得票数 0
1
回答
丢失节点上的
Hadoop
容器清理超时
java
、
hadoop
、
mapreduce
、
hadoop-yarn
当我在地图
任务
中移除网线时,
hadoop
等待状态更新100秒钟(由于其值为100000) 在此之后,我可以看到映射
任务
失败,
hadoop
启动容器清理需要超过10分钟,而且它也不
调度
失败的
任务
anywhere.the,我发现从应用程序主机到丢失的node.After,哪个
任务
在另一个节点上得到
调度
时,没有路由托管异常的错误。我希望减少尝试容器清理的时间,这样就可以在任何节点的映射
任务
超时之后对
任务
进行
调度</e
浏览 0
提问于2016-05-14
得票数 1
2
回答
Hadoop
:将cgroup用于TaskTracker
任务
linux
、
hadoop
、
linux-kernel
、
cgroups
是否可以配置cgroups或
Hadoop
,使TaskTracker产生的每个进程都分配给特定的cgroup?这是一个真实的问题还是更多的理论问题?oom-killer会真的杀死
Hadoop
的TaskTracker吗?还是他会先杀死派生的进程?如果后者在大多数情况下是
浏览 0
提问于2013-02-27
得票数 2
2
回答
使用oozie触发Pig作业
java
、
hadoop
、
mapreduce
、
apache-pig
、
oozie
现在我准备了一个jar文件,我可以作为
hadoop
jar jarname运行它,但问题是如何使用oozie
调度
程序触发相同的作业。用oozie运行这样的
任务
是可能的吗?安排此类
任务
的最佳方法是什么?
浏览 0
提问于2012-10-31
得票数 0
回答已采纳
1
回答
保留数据局部性的
Hadoop
调度
器
hadoop
、
scheduler
我检查了几个文档,但我对
Hadoop
中保留数据局部性的
任务
调度
有疑问。假设
任务
t的输入数据是D1,并且复制因子是3(这意味着我在3个不同的服务器上存储了3个D1副本),那么当t到达时,将在哪个服务器上分配更严重的t?(考虑默认
调度
程序)。
浏览 1
提问于2013-01-09
得票数 0
3
回答
Apache Spark - spark中的内部作业
调度
程序如何定义什么是用户,什么是池
scala
、
hadoop
、
apache-spark
、
bigdata
、
job-scheduling
我很抱歉在这里有点泛泛,但我对spark内部的作业
调度
是如何工作的感到有点困惑。从文档中,我了解到它是
Hadoop
公平
调度
器的某种实现。我无法理解这里的用户到底是谁(是linux用户、
hadoop
用户还是spark客户端?)。我也无法理解这里的池是如何定义的。例如,在我的
hadoop
集群中,我将资源分配给了两个不同的池(让我们称它们为team 1和team 2)。但是在spark集群中,不同的池和其中的用户不会实例化自己的spark上下文吗?我对driver如何实例化spark上下文,然后将它们拆分成<e
浏览 2
提问于2015-04-24
得票数 6
2
回答
基准测试
Hadoop
Map-Reduce应用程序
java
、
hadoop
、
mapreduce
、
benchmarking
、
scheduling
我需要根据作业执行时间比较两种
Hadoop
调度
算法。我可以使用什么来获取所有
任务
的执行持续时间?
浏览 0
提问于2013-06-05
得票数 1
回答已采纳
3
回答
设置
hadoop
任务
数/节点
java
、
hadoop
、
mapreduce
、
hbase
我在一个集群上运行
Hadoop
作业,该集群由我们的几个应用程序共享。我们大约有40个节点和4个映射器插槽/节点。每当我的作业(只有mapper)运行时,它会占用所有160个插槽,并阻止其他作业运行。我尝试在作业"mapred.tasktracker.map.tasks.maximum=1“中设置属性,并将
任务
代码中的"mapred.map.tasks”设置为30 (以将其限制为仅30个节点)。
浏览 0
提问于2014-02-05
得票数 1
1
回答
hadoop
的糟糕的
任务
调度
hadoop
、
mapreduce
、
hadoop-yarn
我正在
hadoop
上运行一些map reduce
任务
。映射器用于生成数据,因此不依赖于hdfs块的位置。为了测试我的系统,我使用了2个节点和一个主节点。我正在使用yarn在
hadoop
-2.0上进行测试。 我发现
hadoop
有一些非常不舒服的地方。我已经将它配置为运行8个地图
任务
。不幸的是,
hadoop
在一个节点上启动了所有8个map
任务
,而另一个节点几乎是理想的。有4个减速器,它也不平衡这些减速器。当发生这种情况时,它确实会导致很差的性能。我在作业跟踪器和
任务
浏览 3
提问于2014-02-08
得票数 1
2
回答
如何在EC2的不同机架上创建两个实例?(AWS中的机架感知)
hadoop
、
amazon-ec2
、
amazon-emr
我正在尝试创建一个
Hadoop
集群。我使用的是一个经过修改的
Hadoop
源,它将根据机架的工作负载将
任务
调度
到不同的机架。为了测试这一点,我希望我的一半数据节点在一个机架上,另一半在不同的机架上。
浏览 0
提问于2017-10-07
得票数 0
1
回答
在
hadoop
上探索nutch
hadoop
、
nutch
用
Hadoop
和Nutch作为搜索引擎,我能做什么呢?我知道nutch是用来构建网络爬虫的。但我找不到完美的照片。我可以在nutch中使用mapreduce并执行一些mapreduce工作吗?
浏览 0
提问于2011-09-27
得票数 0
回答已采纳
1
回答
是否可以使用oozie安排本地
任务
hadoop
、
scheduled-tasks
、
oozie
我在
Hadoop
集群中工作,我想
调度
一个
任务
,但是这个
任务
(Python脚本)在我的边缘节点上本地运行。
浏览 15
提问于2021-04-20
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Milvus 查询任务调度原理
分布式任务调度
任务调度系统 Azkaband 搭建
深入Quartz任务调度器
Flink任务对于流向处理任务调度的应用
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券