专栏首页Hadoop实操如何使用hadoop命令向CDH集群提交MapReduce作业

如何使用hadoop命令向CDH集群提交MapReduce作业

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1.文档编写目的


在前面文章Fayson讲过《如何跨平台在本地开发环境提交MapReduce作业到CDH集群》,那对于部分用户来说,需要将打包好的jar包在CDH集群运行,可以使用hadoop或java命令向集群提交MR作业,本篇文章基于前面的文章讲述如何将打包好的MapReduce,使用hadoop命令向CDH提交作业。同时也分为Kerberos和非Kerberos环境提交。

  • 内容概述

1.环境准备

2.Kerberos环境和非Kerberos集群

  • 测试环境

1.Kerberos集群CDH5.11.2,OS为Redhat7.2

2.非Kerberos集群CDH5.13,OS为CentOS6.5

  • 前置条件

1.CDH集群运行正常

2.本地开发环境与集群网络互通且端口放通

2.示例代码


这里使用的代码是没有加载CDH集群的xml配置的,因为使用hadoop命令提交时会加载集群的配置信息(如hdfs-site.xml/yarn-site.xlm/core-sitem.xml等)。WordCountMapper和WordCountReducer类具体请参考《如何跨平台在本地开发环境提交MapReduce作业到CDH集群》,或者你在整个github中也能完整看到。

package com.cloudera.mr;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

/**
 * package: com.cloudera.mr
 * describe: 打包jar到集群使用hadoop命令提交作业示例
 * creat_user: Fayson
 * email: htechinfo@163.com
 * creat_date: 2017/12/6
 * creat_time: 下午11:30
 * 公众号:Hadoop实操
 */
public class WordCount {

    private static Logger logger = LoggerFactory.getLogger(WordCount.class);

    public static void main(String[] args) {

        logger.info(args[0] + "-----" + args[1]);
        try {
            Configuration conf = new Configuration();
            Job wcjob = Job.getInstance(conf);
            wcjob.setJobName("MyWordCount");
            wcjob.setJarByClass(WordCount.class);

            wcjob.setJarByClass(InitMapReduceJob.class);

            wcjob.setMapperClass(WordCountMapper.class);
            wcjob.setReducerClass(WordCountReducer.class);
            wcjob.setMapOutputKeyClass(Text.class);
            wcjob.setMapOutputValueClass(LongWritable.class);
            wcjob.setOutputKeyClass(Text.class);
            wcjob.setOutputValueClass(LongWritable.class);
            FileInputFormat.setInputPaths(wcjob, args[0]);

            FileOutputFormat.setOutputPath(wcjob, new Path(args[1]));
            //调用job对象的waitForCompletion()方法,提交作业。
            boolean res = wcjob.waitForCompletion(true);
            System.exit(res ? 0 : 1);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

3.编译打包MapReduce作业


1.使用Maven命令进行编译打包,该命令运行需要在工程所在目录下运行

cd /Volumes/Transcend/work/cdhproject
mvn clean package

2.编译成功后,在工程的target目录下可以看到mr-demo-1.0-SNAPSHOT.jar包

3.将mr-demo-1.0-SNAPSHOT.jar包上传到CDH集群的任意节点

注意:这里是将jar包上传至CDH集群的任意节点且hadoop命令可以正常运行。

4.非Kerberos集群提交作业


1.在命令行执行如下命令提交MR作业

hadoop jar mr-demo-1.0-SNAPSHOT.jar com.cloudera.mr.WordCount /fayson/test_table /wordcount/out

2.命令行提交作业执行如下

3.Yarn界面查看,作业执行成功

4.查看HDFS输出目录

5.Kerberos集群提交作业


1.在Kerberos集群init Kerberos账号

[ec2-user@ip-172-31-22-86 ~]$ kdestroy
[ec2-user@ip-172-31-22-86 ~]$ kinit -kt fayson.keytab fayson
[ec2-user@ip-172-31-22-86 ~]$ klist
Ticket cache: FILE:/tmp/krb5cc_1000
Default principal: fayson@CLOUDERA.COM

Valid starting       Expires              Service principal
12/06/2017 11:02:53  12/07/2017 11:02:53  krbtgt/CLOUDERA.COM@CLOUDERA.COM
        renew until 12/13/2017 11:02:53
[ec2-user@ip-172-31-22-86 ~]$

2.在命令行使用hadoop提交作业

[ec2-user@ip-172-31-22-86 ~]$ hadoop jar mr-demo-1.0-SNAPSHOT.jar com.cloudera.mr.WordCount /fayson /wordcount/out

3.Yarn界面查看作业执行成功

4.查看HDFS目录输出的结果

6.总结


这里有几点需要注意,我们在本地环境开发MapReduce作业的时候,需要加载集群的xml配置,将打包好的MR jar包提交到集群使用hadoop命令运行时,代码里面的Configuration在初始化的时候不需要加载xml的配置即可。

GitHub源码地址:

https://github.com/javaxsky/cdhproject

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-12-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • SQL中GROUP BY用法示例

    GROUP BY我们可以先从字面上来理解,GROUP表示分组,BY后面写字段名,就表示根据哪个字段进行分组,如果有用Excel比较多的话,GROUP BY比较类...

    Awesome_Tang
  • 【系统设置】CentOS 修改机器名

    ken.io
  • 知识体系解决迷茫的你

    最近在星球里群里都有小伙伴说道自己对未来的路比较迷茫,一旦闲下来就不知道自己改干啥,今天我这篇文章就是让你觉得一天给你 25 个小时你都不够用,觉得睡觉都是浪费...

    桃翁
  • 理工男图解零维到十维空间,烧脑已过度,受不了啦!

    让我们从一个点开始,和我们几何意义上的点一样,它没有大小、没有维度。它只是被想象出来的、作为标志一个位置的点。它什么也没有,空间、时间通通不存在,这就是零维度。

    钱塘数据
  • 考研英语-1-导学

    英二图表作文要重视。总体而言,英语一会比英语二难点。不过就写作而言,英语二会比英语一有难度,毕竟图表作文并不好写。

    用户1335799
  • 【倒计时7天】2018教育部-腾讯公司产学合作协同育人项目申请即将截止!

    腾讯高校合作
  • 复杂业务下向Mysql导入30万条数据代码优化的踩坑记录

    从毕业到现在第一次接触到超过30万条数据导入MySQL的场景(有点low),就是在顺丰公司接入我司EMM产品时需要将AD中的员工数据导入MySQL中,因此楼主负...

    haifeiWu
  • ISUX Xcube智能一键生成H5

    腾讯ISUX
  • 中国互联网协会发布:《2018中国互联网发展报告》

    在2018中国互联网大会闭幕论坛上,中国互联网协会正式发布《中国互联网发展报告2018》(以下简称《报告》)。《中国互联网发展报告》是由中国互联网协会与中国互联...

    钱塘数据
  • 不只是软件,在线也可以免费下载百度文库了。

    不管是学生,还是职场员工,下载各种文档几乎是不可避免的,各种XXX.docx,XXX.pptx更是家常便饭,人们最常用的就是百度文库,豆丁文库,道客巴巴这些下载...

    课代表

扫码关注云+社区

领取腾讯云代金券