0850-7.1.4-如何为distcp作业设置application tag

1.文档编写目的

如果需要管理作业生命周期。期望通过作业的application tag来进行定位。本文档就如何设置distcp作业的application tag来进行说明。

• 测试环境：

1.Redhat7.6

2.采用root用户操作

3.CM和CDH版本为CDH7.1.4

2.测试步骤

2.1 未设置前提交作业的情况

1.通过下面命令提交distcp作业

hadoop distcp -overwrite sftp://ppp:123456@192.168.0.75/home/sftp/mysql-connector-java.jar hdfs:///tmp/sftp

2.作业完成后，从yarn上看作业的信息，是没有application tag的

2.2添加-Dmapreduce.job.tags参数后作业情况

1.用下面命令提交作业，添加-Dmapreduce.job.tags=tag1参数

hadoop distcp -Dmapreduce.job.tags=tag1 -overwrite sftp://ppp:123456@192.168.0.75/home/sftp/mysql-connector-java.jar hdfs:///tmp/sftp

2.通过yarn查看该作业，可以看到application tag添加成功

3.总结

1.通过添加参数-Dmapreduce.job.tags，可以在distcp作业上加上application tag的标签。

2.对于其他的mapreduce作业，该参数同样适用。

我们当前面临着集