Spark之集群概述

摘 要

本文简要地概述一下Spark是如何在集群上运行,让它更容易理解。

Spark 组件说明

Spark的应用程序作为一个独立的进程在Spark集群上运行,并由SparkContext对象(驱动程序)来运行你的主应用程序。

总体来说,应用程序在集群上运行,SparkContext可以连接一下几种的管理组件:Spark自身具有的管理器,Mesos或者Yarn,来实现将资源分配给应用程序。一旦运行起来,Spark就可以获得需要执行的集群节点,并为应用程序提供计算和数据存储。接下来Spark将应用程序发送给执行的节点。最后,SparkContext将任务发送给执行器来运行。

如图,这个架构有几个重要的地方需要注意:

1、在每一个应用程序的运行生命周期内,都属于一个独立的进程。这样有利于调度器(驱动程序调度自己的任务)和管理控制器(不同应用程序的调度任务)将应用程序隔离。但这意味着SparkContext实例不能共享,也就是说在运行过程中在不写入外部存储的前提下,其他应用程序不能访问该数据。

2、Spark不能直接知道底层的集群管理器,只要能获得执行器的进程,并且这些进程可以彼此相互通信,即使换成其他的管理器(例如Mesos或者Yarn),也是能轻易地运行。

3、应用程序在运行过程中必须监听从执行器中传入的连接。因此,应用程序必须发布在可寻址的工作节点中。

4、因为程序在集群环境上调度任务,所以应该在邻近的工作节点中运行,最好是局域网内。如果你想远程发送请求到集群,最好通过RPC的方式来打开一个驱动程序,并在邻近的节点中提交操作。

集群管理器的类型

Spark目前仅支持一下三个管理器

Standalone:它是一个Spark内部的简单的集群管理器,可以很简单的搭建出一个集群。

Apache Mesos:它是一个通用的集群管理,可以运行在Hadoop Mapreduce和服务应用程序。

Hadoop YARN:它是Hadoop2.x中的资源管理器。

应用程序提交

应用程序提交可以通过spark-submit脚本提交到任何类型的集群中。

监控

每一个发布的应用程序都有一个监控web页面,通常端口是4040。显示有关正在执行的任务,应用程序及硬盘状况等信息。只需要在浏览器中键入http://drive-node:4040即可访问。

任务调度

Spark给予跨应用程序(在集群管理器级别)和应用程序(如果多个计算在同一SparkContext上进行)上的资源分配的控制。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

如何在CDH集群外配置非Kerberos环境的Gateway节点

1724
来自专栏分布式系统和大数据处理

安装和配置Hadoop集群(3节点)

在 安装和配置Hadoop(单节点) 这篇文章中,已经进行了Hadoop单机伪集群模式的部署。生产环境中,Hadoop都是以集群方式进行安装和部署的,否则,就不...

1792
来自专栏Hadoop实操

如何指定Spark1作业中Driver和Executor使用指定范围内端口

在CDH集群中提交Spark作业,大家也都知道Spark的Driver和Executor之间通讯端口是随机的,Spark会随选择1024和65535(含)之间的...

1786
来自专栏Albert陈凯

XX公司大数据笔试题(A)

XX公司大数据笔试题(A) 大数据基础(HDFS/Hbase/Hive/Spark〉 1.1. 对出Hadoop集群典型的配置文件名称,并说明各配置文件的用途...

5084
来自专栏我是攻城师

Hive集成Tez让大象飞起来

3208
来自专栏分布式系统和大数据处理

安装和配置Hadoop集群(3节点)

在 安装和配置Hadoop(单节点) 这篇文章中,已经进行了Hadoop单机伪集群模式的部署。生产环境中,Hadoop都是以集群方式进行安装和部署的,否则,就不...

2585
来自专栏伦少的博客

spark-submit提交Spark Streamming+Kafka程序

2515
来自专栏KaliArch

大数据平台CDH搭建

Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,...

3765
来自专栏简单聊聊Spark

Spark性能调优九之常用算子调优

        前面介绍了很多关于Spark性能的调优手段,今天来介绍一下Spark性能调优的最后一个点,就是关于Spark中常用算子的调优。废话不多说,直接进...

1421
来自专栏Hadoop实操

如何修改CDH集群的DataNoe节点HOSTNAME

在使用CDH集群的过程中,会涉及到修改集群DataNode的HOSTNAME,在修改HOSTSNAME的时候需要注意什么,如何让新修改HOSTSNAME的CDH...

5065

扫码关注云+社区