Spark系列(三)Spark的工作机制
什么时候才能回归到看论文，写感想的日子呀~刚刚交完房租的我血槽已空。看了师妹关于Spark报告的PPT，好怀念学生时代开组会的时光啊，虽然我已经离开学校不长不短两个月，但我还是非常认真的翻阅了，并作为大自然的搬运工来搬运知识了。
Spark的执行模式
1、Local，本地执行，通过多线程来实现并行计算。 2、本地伪集群运行模式，用单机模拟集群，有多个进程。 3、Standalone，spark做资源调度，任务的调度和计算。部署繁琐。
4、Yarn， Mesos，通用的统一资源管理机制，可以在上面运行多种计算框架。
着重介绍比较广泛应用集群管理器Yarn
YARN 是在 Hadoop 2.0中引入的集群管理器，它可以让多种数据处理框架运行在一个共享的资源池上，并且通常安装在与 Hadoop 文件系统（简称 HDFS）相同的物理节点上。
第一步是找到你的 Hadoop 的配置目录，并把它设为环境变量HADOOP_CONF_DIR。这个目录包含 yarn-site.xml 和其他配置文件；如果你把 Hadoop 装到 HADOOP_HOME 中，那么这个目录通常位于HADOOP_HOME/conf 中，否则可能位于系统目录 /etc/hadoop/conf中。然后用如下方式提交你的应用： export HADOOP_CONF_DIR="..." spark-submit --master yarn yourapp
有两种将应用连接到集群的模式：客户端模式以及集群模式。在客户端模式下应用的驱动器程序运行在提交应用的机器上（比如你的笔记本电脑），而在集群模式下，驱动器程序也运行在一个 YARN 容器内部。这就涉及了应用的两种提交方式。
应用的提交方式
Driver运行在客户端，即为客户端模式
Driver运行在集群上，是集群中的某一个Worker，即集群模式
执行流程
基于上图我们将详细介绍资源的调度和任务的分配，主要从Application的调度-Job调度-Stage调度来说明
Application的调度
多用户需要共享集群资源时，可以依据集群管理者的配置，分配资源
YARN：配置每个应用分配的executor数量，每个executor占用的的内存大小和CPU核数
Job的调度
Job的调度符合FIFO， 调度池里面是很多任务集，任务集有两个ID ，JOBID 和stageID，ID小的先执行。 JOB： FIFO
stage： DAGScheduler
Stage的调度
Stage的DAG以最后执行的 Stage为根进行广度优先遍历，遍历到最开始执行的Stage执行。DAGScheduler中还维持了几个重要的Key-Value集 ：
waitingStages中记录仍有未执行的父Stage，防止过早执行；
runningStages中保存正在执行的Stage，防止重复执行；
failedStages中保存执行失败的Stage，需要重新执行。 DONE