MapReduce工作笔记——Job调度参数设置

莫斯

发布于 2020-09-10 10:42:29

1.5K0

文章被收录于专栏：备份备份

指定有意义JobName, 一般是自己的名字+Job作用。

mapred.job.name="xxx_test"

说明1

mapred.reduce.tasks

#  mapper
mapred.job.max.map.running

#  reducer
mapred.job.max.reduce.running

#  mapper
mapred.max.map.failures.percent

#  reducer
mapred.max.reduce.failures.percent

mapred.job.priority
# LOW、VERY_LOW、NORMAL、HIGH、VERY_HIGH 五种类型

mapred.task.timeout
# （单位：毫秒）

mapred.map.tasks.speculative.execution  // 默认打开为true，关闭请显式设置为false
mapred.reduce.tasks.speculative.execution  // 默认打开为true，关闭请显式设置为false

如果用户不主动设置Reduce个数，系统默认启动一个Reduce。如果用户处理数据量过大(>10G),则会影响Reduce的处理速度。根据map的输出量合理设置reduce的个数，请确保每个reduce处理的数据不超过10G 通过如下参数指定reduce个数.

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2018/12/13 ，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度