【MapReduce】配置&作业管理

配置&作业管理

基本配置

mapreduce的配置文件为：mapred-site.xml。配置内容分为配置MapReduce运行程序、配置History-Server。

配置MapReduce运行程序

img

img

配置History-Server

img

提交与管理

MapReduce任务编写完成后，打包为Jar包形式，便可以使用客户端对任务进行提交。

提交作业的基本命令为：

# hadoop  jar  {jarFile}  [mainClass]  args
  -jarFIle: MapReduce运行程序的jar包
  -mainClass: jar包中main函数所在类的类名
  -args: 程序调用需要的参数，如：输入输出路径

这里使用官方自带的MapReduce案例包来完成作业提交：

cd $HADOOP_HOME/share/hadoop/mapreduce
# 计算圆周率，第一个