Spark内核分析之SparkContext初始化源码分析
Spark内核分析之SparkContext初始化源码分析
上一篇介绍了spark作业提交的三种方式，从本篇开始逐一介绍Spark作业运行流程中各个组件的内部工作原理。如标题所说，我们先来看看SparkContext在Spark作业提交后做了哪些事情，工作流程如下图所示；（注意：本篇文章及后续源码分析所有内容全部基于spark1.3.0源码进行分析，后续不再赘述）
SparkContext初始化流程图
1.Spark作业提交以后，通过SparkContext的createTaskScheduler()方法来初始化scheduler（TaskSchedulerImpl）和backend（SparkDeploySchedulerBackend）对象； 2.通过scheduler的initialize()方法初始化其对应的线程池； 3.调用scheduler的start()方法，在scheduler的start()方法内部调用backend的start()方法； 4.在backend的start()方法内部，创建AppClient对象，并通过该对象的start()方法调用RegisterWithMaster方法，通过该方法向Master请求注册； 5.Master调用worker，worker启动executor后向backend注册信息；
下面附上源码部分截图；
SparkContext初始入口
初始化TaskScheduler等相关信息
初始化taskScheduler线程池及调度方式
taskScheduler的start方法
backend的start方法
初始化AppClient,调用registerWithMaster()方法
registerWithMaster方法实现
以上即为SparkContext的初始化过程，在这个过程中同时也初始化了两外两个重要的组建，分别为DAGScheduler和Spark UI；启动DAGScheduler底层是基于DAGSchedulerEventProcessActor进行通信的，SparkUI是通过底层的jetty服务器来提供web服务的；针对这两个组件后续会有详细讲解。
总结：以上即为SparkContext的初始化过程，源码涉及的类有：SparkContext，TaskSchedulerImpl，SparkDeploySchedulerBackend，AppClient等，有兴趣的可以查看所有详细实现。欢迎关注。
如需转载，请注明：