开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

MapReduce工作笔记

共 11 篇文章

1

MapReduce工作笔记——Streaming输出output压缩

2

MapReduce工作笔记——Streaming输入input解压

3

MapReduce工作笔记——Hadoop Streaming多目录/多路输入

4

MapReduce工作笔记——Streaming Job中jar包上传与使用指定

5

MapReduce工作笔记——Hadoop MR Streaming通用模板

6

MapReduce工作笔记——Hadoop shell 常用文件操作命令

7

MapReduce工作笔记——Job上传普通文件和大文件

8

MapReduce工作笔记——Job提交任务中-D和-jobconf的区别

9

MapReduce工作笔记——Streaming多路输出

10

MapReduce工作笔记——Job调度参数设置

11

MapReduce工作笔记——yarn reducer 内存溢出 beyond physical memory limits

清单首页MapReduce工作笔记文章详情

清单「MapReduce工作笔记」 10/11

MapReduce工作笔记——Job调度参数设置

1. JobName

指定有意义JobName, 一般是自己的名字+Job作用。

mapred.job.name="xxx_test"

2. Reduce的个数

说明1

mapred.reduce.tasks

3. Job的task并发数

#  mapper
mapred.job.max.map.running

#  reducer
mapred.job.max.reduce.running

4. 设置Job的失败比例

#  mapper
mapred.max.map.failures.percent

#  reducer
mapred.max.reduce.failures.percent

5. 设置Job的优先级

mapred.job.priority
# LOW、VERY_LOW、NORMAL、HIGH、VERY_HIGH 五种类型

6. 设置task的超时时间

mapred.task.timeout
# （单位：毫秒）

7. 预测执行

mapred.map.tasks.speculative.execution  // 默认打开为true，关闭请显式设置为false
mapred.reduce.tasks.speculative.execution  // 默认打开为true，关闭请显式设置为false

如果用户不主动设置Reduce个数，系统默认启动一个Reduce。如果用户处理数据量过大(>10G),则会影响Reduce的处理速度。根据map的输出量合理设置reduce的个数，请确保每个reduce处理的数据不超过10G 通过如下参数指定reduce个数.

举报