Spark之集群概述

摘 要

本文简要地概述一下Spark是如何在集群上运行,让它更容易理解。

Spark 组件说明

Spark的应用程序作为一个独立的进程在Spark集群上运行，并由SparkContext对象（驱动程序）来运行你的主应用程序。

总体来说，应用程序在集群上运行，SparkContext可以连接一下几种的管理组件：Spark自身具有的管理器，Mesos或者Yarn，来实现将资源分配给应用程序。一旦运行起来，Spark就可以获得需要执行的集群节点，并为应用程序提供计算和数据存储。接下来Spark将应用程序发送给执行的节点。最后，SparkContext将任务发送给执行器来运行。

如图，这个架构有几个重要的地方需要注意：

1、在每一个应用程序的运行生命周期内，都属于一个独立的进程。这样有利于调度器（驱动程序调度自己的任务）和管理控制器（不同应用程序的调度任务）将应用程序隔离。但这意味着SparkContext实例不能共享，也就是说在运行过程中在不写入外部存储的前提下，其他应用程序不能访问该数据。

2、Spark不能直接知道底层的集群管理器，只要能获得执行器的进程，并且这些进程可以彼此相互通信，即使换成其他的管理器（例如Mesos或者Yarn），也是能轻易地运行。

3、应用程序在运行过程中必须监听从执行器中传入的连接。因此，应用程序必须发布在可寻址的工作节点中。

4、因为程序在集群环境上调度任务，所以应该在邻近的工作节点中运行，最好是局域网内。如果你想远程发送请求到集群，最好通过RPC的方式来打开一个驱动程序，并在邻近的节点中提交操作。

集群管理器的类型

Spark目前仅支持一下三个管理器

Standalone：它是一个Spark内部的简单的集群管理器，可以很简单的搭建出一个集群。

Apache Mesos：它是一个通用的集群管理，可以运行在Hadoop Mapreduce和服务应用程序。

Hadoop YARN：它是Hadoop2.x中的资源管理器。

应用程序提交

应用程序提交可以通过spark-submit脚本提交到任何类型的集群中。

监控

每一个发布的应用程序都有一个监控web页面，通常端口是4040。显示有关正在执行的任务，应用程序及硬盘状况等信息。只需要在浏览器中键入http://drive-node:4040即可访问。

任务调度

Spark给予跨应用程序（在集群管理器级别）和应用程序（如果多个计算在同一SparkContext上进行）上的资源分配的控制。