专栏首页IT杂记Mapreduce 任务提交源码分析1

Mapreduce 任务提交源码分析1

提交过程

一般我们mapreduce任务是通过如下命令进行提交的

$HADOOP_HOME/bin/hadoop jar $MR_JAR $MAIN_CLASS

hadoop脚本中有如下代码

    elif [ "$COMMAND" = "jar" ] ; then
      CLASS=org.apache.hadoop.util.RunJar

//... 略
    exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"

可以看到hadoop命令提交mapreduce其实就是执行了org.apache.hadoop.util.RunJar类的main方法,接下来我们来看下这个main方法,只关注最核心的逻辑,其他不重要的部分略去。

public static void main(String[] args) throws Throwable {
  String usage = "RunJar jarFile [mainClass] args...";
  // 第一个参数是jar文件路径,第二个参数是主类名(可选),后续跟其他参数
  // ...
  

  int firstArg = 0;
  String fileName = args[firstArg++];
  File file = new File(fileName);
  // 构建jar文件对象
  // ...

  // --: 这部分逻辑是获取主类名
  //     优先从jar文件的Manifest信息中获取主类名; (只有当打包jar时采用可运行的jar文件的方式才有这个信息,否则普通的jar文件中不包含该信息)
  //     如果无法获取到,则采用第二参数值作为主类名;
  // ---------------------------------------------------------------------------
  String mainClassName = null;

  JarFile jarFile;
  try {
    jarFile = new JarFile(fileName);
  } catch(IOException io) {
    throw new IOException("Error opening job jar: " + fileName)
      .initCause(io);
  }

  Manifest manifest = jarFile.getManifest();
  if (manifest != null) {
    mainClassName = manifest.getMainAttributes().getValue("Main-Class");
  }
  jarFile.close();

  if (mainClassName == null) {
    if (args.length < 2) {
      System.err.println(usage);
      System.exit(-1);
    }
    mainClassName = args[firstArg++];
  }
  mainClassName = mainClassName.replaceAll("/", ".");
  // ---------------------------------------------------------------------------

  // 获取Hadoop临时目录,指的是本地操作系统的一个目录
  // hadoop.tmp.dir配置可在core-site.xml配置文件中配置
  File tmpDir = new File(new Configuration().get("hadoop.tmp.dir"));
  ensureDirectory(tmpDir);

  // --:为这个任务在临时目录下面创建一个临时的工作目录,目录名的格式为:“hadoop-unjar + Long型随机数”
  //------------------------------------------------------------------------------
  final File workDir;
  try { 
    workDir = File.createTempFile("hadoop-unjar", "", tmpDir);
  } catch (IOException ioe) {
    System.err.println("Error creating temp dir in hadoop.tmp.dir "
                       + tmpDir + " due to " + ioe.getMessage());
    System.exit(-1);
    return;
  }

  if (!workDir.delete()) {
    System.err.println("Delete failed for " + workDir);
    System.exit(-1);
  }
  ensureDirectory(workDir);
  //------------------------------------------------------------------------------

  // 为Java进程添加一个钩子程序,当程序shutdown时清楚临时工作目录
  ShutdownHookManager.get().addShutdownHook(
    new Runnable() {
      @Override
      public void run() {
        FileUtil.fullyDelete(workDir);
      }
    }, SHUTDOWN_HOOK_PRIORITY);

  // 将jar文件里面的内容解压到这个临时的工作目录
  unJar(file, workDir);

  // -- 将:
  // workDir/, workDir/classes/, workDir/lib/${allfiles} 添加到classpath
  //------------------------------------------------------------------------------
  ArrayList<URL> classPath = new ArrayList<URL>();
  classPath.add(new File(workDir+"/").toURI().toURL());
  classPath.add(file.toURI().toURL());
  classPath.add(new File(workDir, "classes/").toURI().toURL());
  File[] libs = new File(workDir, "lib").listFiles();
  if (libs != null) {
    for (int i = 0; i < libs.length; i++) {
      classPath.add(libs[i].toURI().toURL());
    }
  }
  //------------------------------------------------------------------------------
  

  // --: 以上面的classpath创建一个URLClassLoader,作为主线程的classLoader
  ClassLoader loader =
    new URLClassLoader(classPath.toArray(new URL[0]));
  Thread.currentThread().setContextClassLoader(loader);

  // --:通过反射的机制去调用主类的main方法,并将除jar文件和[mainClass]以外的所有参数传递给该main方法
  Class<?> mainClass = Class.forName(mainClassName, true, loader);
  Method main = mainClass.getMethod("main", new Class[] {
    Array.newInstance(String.class, 0).getClass()
  });
  String[] newArgs = Arrays.asList(args)
    .subList(firstArg, args.length).toArray(new String[0]);
  try {
    main.invoke(null, new Object[] { newArgs });
  } catch (InvocationTargetException e) {
    throw e.getTargetException();
  }
}

总结

hadoop命令做的事情就是将jar文件的内容解压到临时工作目录,并将解压后的workDir/, workDir/classes/, workDir/lib/${allfiles} 一系列路径加入到自定义的ClassLoader中,并通过反射的机制去执行jar文件中Manifest中的主类或是用户指定的主类。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Hadoop SequnceFile.Writer 压缩模式及压缩库浅析

    先说明SequnceFile的压缩类型(Compression Type)分为三种NONE,RECORD,BLOCK,通过配置项io.seqfile.compr...

    囚兔
  • Git 对象存储结构分析

    Git 对象有:blob (数据块), tree (目录树), commit (提交), tag (标签)。

    囚兔
  • Git 对象存储结构分析

    囚兔
  • PyCharm在创建py文件时自动添加默认头部注释

    File ----->> Setting ----->> Editor ----->> File and Code Templates ----->> Pyth...

    马哥Python
  • Nacos源码分析系列之Naming模块-如何运行篇

    Naming模块其实Nacos框架实现服务治理功能的核心模块,这个模块具备很多核心功能,本次先从如何运行开始剖析。

    用户6969969
  • Angular父子Component之间的事件通知机制

    例子:product-list为parent Component,product-alert为child Component.

    Jerry Wang
  • 浏览器下载压缩包

    #需求如下 通过前台传入id数据库查询数据,写入临时文件,再将临时文件存入,压缩包,一起打包下载。 #代码如下

    崔笑颜
  • Thymeleaf一篇就够了

    大家好,我是bigsai,今天我们来学习Thymeleaf,如果你对Thymeleaf比较陌生也不要紧,它很容易学习与理解,并有着自己鲜明的特色。

    bigsai
  • 扩展Yarn资源模型详解1

    问题导读 1.countable资源是指哪些? 2.noncountable资源,本文列举了什么资源? 3.标签是否为资源? 4.如何实现扩展YARN资源模型...

    用户1410343
  • 关于Babel配置项的这点事

    https://segmentfault.com/a/1190000010468759

    前端博客 : alili.tech

扫码关注云+社区

领取腾讯云代金券