Spark 源码（5） - 从 SparkSubmit 开始看任务提交
Spark 源码（5） - 从 SparkSubmit 开始看任务提交
一、SparkSubmit 提交
上次我们已经说完了 Spark Standalone 的 Master 和 Worker 的启动流程，本次我们从一个提交 Spark 作业的命令开始阅读 Spark 任务提交的源码。
在 Spark 客户端提交任务的流程是这样子的：
./bin/spark-submit --class org.apache.spark.examples.SparkPi \
--master local \
--deploy-mode cluster \
--driver-memory 4g \
--executor-memory 2g \
--executor-cores 1 \
lib/spark-examples*.jar \
10
spark-submit 脚本里面，最终是执行这样一句：
exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit "$@"
执行的是 SparkSubmit 这个类的 main 方法，传入进去了一系列的参数。
main 方法中，没有什么逻辑，继续点到最终的执行逻辑的地方
然后到 runMain 方法中，第一句代码就非常重要：准备提交的环境，主要是从参数中，解析出执行的主类，childMainClass
点进去，重点看 childMainClass 赋值的地方：如果是 standalone 模式，不是 restful 的形式，则主类是：org.apache.spark.deploy.ClientApp
如果是 yarn-cluster 模式，则主类是：org.apache.spark.deploy.yarn.YarnClusterApplication
然后下面还有对提交到 mesos 和 k8s 的情况，这里就不看了。
有了主类之后，使用反射的方式，初始化一个实例：
并且调用这个类的 start 方法：
这里我们只看 Spark Standalone 模式，主类是 ClientApp 的情况。
看一下 ClientApp 的 start 方法，初始化了 RpcEnv，并且注册了一个 Endpoint，那么下面就肯定要看 ClientEndpoint 的 onStart() 方法了。
在当前类中搜索 onStart() 方法：
在 onStart() 方法中，有个东西很重要：
这个 DriverWrapper ，这个是启动 Driver 的主类。
！！注意，当前我们还不是在 Driver 里面，我们只是在客户端上启动了一个 JVM，里面执行了 SparkSubmit 的 main 方法，初始化了一个 ClientEndpoint，这个 ClientEndpoint 等会要发送一个消息给 Master，让 Master 找一台机器，启动 Driver 进程。
然后，把 mainClass 封装到了 Command 中：
并且初始化了一个 DriverDescription：
接下来，把 DriverDescription 作为参数放到 RequestSubmitDriver 消息中，把这个消息发给 Master ，向 Master 注册 Driver：
二、画个图总结
今天主要阅读了提交的一点源码，当执行 spark-submit 脚本时，客户端会启动一个 JVM，注册 ClientEndpoint，向 Master 发送 注册 Driver 的消息：RequestSubmitDriver
下次继续分析 Master 收到消息之后，是如何处理这个消息的