MRJob -任务调度的限制数
MRJob -任务调度的限制数
提问于 2015-06-19 21:57:01
在MyJob中，如何限制任务尝试次数(如果任务失败)？
我有长时间运行的任务(相应地增加了超时时间)，但我希望在同一个任务的2次失败尝试之后，而不是在4-5中结束任务。
我在文档里找不到这样的东西：
http://mrjob.readthedocs.org/en/latest//en/latest/guides/configs-reference.html
回答 1
Stack Overflow用户
回答已采纳
发布于 2015-07-29 18:37:34
对于映射作业，可以在Hadoop 2中设置mapreduce.map.maxattempts，对于减少作业，可以设置mapreduce.reduce.maxattempts (来源)。Hadoop 1中的等价物是：mapred.map.max.attempts和mapred.reduce.max.attempts。
如果在MRJob中使用conf文件，可以将其设置为：
runners:
emr:
jobconf:
mapreduce.map.maxattempts: 2页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/30947868
复制相关文章
相似问题
腾讯云开发者
