Spark运行流程概述
- Application 指用户编写的Spark应用程序，其中包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码。
- Driver Spark中的Driver即运行上述Application的main()函数并创建SparkContext.创建的目的是为了初始化Spark的运行环境。SparkContext负责与ClusterManager通信，进行资源的申请、任务的分配和监控等。当Executor部分运行完毕后，Driver同时负责将SparkContext关闭，通常用SparkContext代表Driver.
- Executor 某个Application运行在Worker节点上的一个进程，该进程负责运行某些Task,并且负责将数据存在内存或者磁盘上。每个Application都有各自独立的一批Executor.在spark on Yarnm模式下，名为CoarseGrainedExecutor Backend进程有且只有一个executor,它负责将task包装秤taskRunner，并从线程池中抽取出一个空闲线程进行Task.这样 每个CoarseGrainedExecutro Backend能并行运行Task的数量就取决于分配给它的CPU的个数。
- Cluster Manager 在Hadoop yarn上主要是指ResourceManager
- Worker:集群中任何可以运行Application代码的节点，类似于Yarn中的NodeManager节点，在Standalone模式中指的是通过slave文件配置的Worker节点，在Spark on Yarn模式中指的是NodeManager节点。
- Task 是运行application的基本单位。多个Task组成一个stage,而Task的调度和管理等由下面的TaskScheduler负责。
- Job 包含多个Task组成的并行运算，往往由Spark Action触发产生，一个Application中可能会产生多个job.
- Stage 每个job会被划分为很多组Task，作为一个Taskset,名为stage.stage的划分和调度由DAGScheduler负责。Stage有非最终的stage(Shuffle Map stage)和最终的Stage(Result stage)两种。Stage的边界就是发生Shuffle的地方.
- 共享变量 广播变量和只支持加法操作，可以实现求和的累加变量。
- 宽依赖 成为ShuffleDependency,与Hadoop Mapreduce中Shuffle的数据依赖相同，宽依赖需要计算好所有父RDD对应分区的数据，然后在节点之间进行Shuffle。
- 窄依赖 称为NarrowDependency，指具体的RDD，其分区patition a 最多被子RDD中的一个分区patition b依赖。只有map任务，不需要发生Shuffle过程。
- DAGScheduler 提交Stage给TaskScheduler.
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2015-10-10 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读