4.0Spark编程模型RDD

Spark核心技术与高级应用

第4章

编程模型

不自见,故明;不自是,故彰;不自伐,故有功;不自矜,故能长。

——《道德经》第二十二章

在面对自我的问题上,不自我表扬,反能显明;不自以为是,反能彰显;不自我夸耀,反能见功;不自我矜恃,反能长久。

与许多专有的大数据处理平台不同,基于Spark的大数据处理平台,建立在统一抽象的RDD之上,这是Spark这朵小火花让人着迷的地方,也是学习Spark编程模型的瓶颈所在,充满了很深的理论和工程背景。

本章重点讲解Spark编程模型的最主要抽象,第一个抽象是RDD(Resilient Distributed Dataset,弹性分布式数据集),它是一种特殊集合,支持多种来源,有容错机制,可以被缓存,支持并行操作;Spark的第二个抽象是两种共享变量,即支持并行计算的广播变量和累加器。

要理解Spark,就必须理解RDD。在学习过程中,希望能时刻警醒自己,做到不自见、不自是、不自伐、不自矜。

4.1 RDD介绍

基于Spark的大数据处理平台,建立在统一抽象的RDD之上,RDD是Spark围绕的核心概念,也是最主要的抽象之一。对于RDD和Spark,RDD是一种具有容错性基于内存的集群计算抽象方法,Spark则是这个抽象方法的实现。

4.1.1 RDD特征

简单来说,Spark一切都是基于RDD的,RDD就是Spark输入的数据,作为输入数据的每个RDD有五个特征,其中分区、一系列的依赖关系和函数是三个基本特征,优先位置和分区策略是可选特征。

1)分区(partition):有一个数据分片列表,能够将数据进行切分,切分后的数据能够进行并行计算,是数据集的原子组成部分。

2)函数(compute):计算每个分片,得出一个可遍历的结果,用于说明在父RDD上执行何种计算。

3)依赖(dependency):计算每个RDD对父RDD的依赖列表,源RDD没有依赖,通过依赖关系描述血统(lineage)。

4)优先位置(可选):每一个分片的优先计算位置(preferred locations),比如HDFS的Block的所在位置应该是优先计算的位置。

5)分区策略(可选):描述分区模式和数据存放的位置,键-值对(key-value)的RDD根据哈希值进行分区,类似于MapReduce中的Paritioner接口,根据key来决定分配位置。

常用的RDD有很多种,可以说,每个Transformation操作都会产生一种RDD,这里我们以HadoopRDD、MappedRDD、FilteredRDD、JoinedRDD为例对特征进行说明,如表4-1所示。

表4-1 常用RDD特征说明

[插图]

4.1.2 RDD依赖

Spark中RDD的数据结构里很重要的一个域是对父RDD的依赖,Spark中的依赖关系主要体现为两种形式,窄依赖(narrow dependency)和宽依赖(wide dependency)。

图4-1对窄依赖和宽依赖进行了说明。

[插图]

图4-1 窄依赖和宽依赖

1. 窄依赖

窄依赖是指父RDD的每一个分区最多被一个子RDD的分区所用,表现为一个父RDD的分区对应于一个子RDD的分区(第一类),或多个父RDD的分区对应于一个子RDD的分区(第二类),也就是说一个父RDD的一个分区不可能对应一个子RDD的多个分区。

图4-1中,Map/Filter和Union属于第一类,对输入进行协同划分(co-partitioned)的Join属于第二类(协同划分,可以理解为指多个父RDD的某一分区的所有key,落在子RDD的同一分区的象限,不会产生同一父RDD的某一分区,落在子RDD的两个分区的情况)。

进一步说,子RDD的每个分区依赖于常数个父分区,与数据规模无关,输入输出是一对一的算子。当子RDD的每个分区依赖单个父分区时,分区结构不会发生变化,如Map、f latMap;当子RDD依赖多个父分区时,分区结构发生变化,如Union。

2.宽依赖

宽依赖是指子RDD的每个分区都依赖于所有父RDD的所有分区或多个分区,也就是说存在一个父RDD的一个分区对应一个子RDD的多个分区。

图4-1中的groupByKey和未经过协同划分的Join属于宽依赖。

3.依赖关系说明

对两种依赖关系进行如下说明:

窄依赖的RDD可以通过相同的键进行联合分区,整个操作都可以在一个集群节点上进行,以流水线(pipeline)的方式计算所有父分区,不会造成网络之间的数据混合。

宽依赖RDD会涉及数据混合,宽依赖需要首先计算好所有父分区数据,然后在节点之间进行Shuffle。

窄依赖能够更有效地进行失效节点的恢复,重新计算丢失RDD分区的父分区,不同节点之间可以并行计算;而对于一个宽依赖关系的血统(lineage)图,单个节点失效可能导致

这个RDD的所有祖先丢失部分分区,因而需要整体重新计算。

注意

Shuffle执行时固化操作,以及采取Persist缓存策略,可以在固化点,或者缓存点重新计算。

执行时,调度程序会检查依赖性的类型,将窄依赖的RDD划到一组处理当中,即Stage。宽依赖在一个执行中会跨越连续的Stage,同时需要显式指定多个子RDD的分区。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java技术栈

Tomcat集群session复制与Oracle的坑。。

问题描述 公司某个系统使用了tomcat自带的集群session复制功能,然后后报了一个oracle驱动包里面的连接不能被序列化的异常。 01-Nov-2017...

3779
来自专栏Albert陈凯

3.5RDD的容错机制

3.5 RDD的容错机制 RDD实现了基于Lineage的容错机制。RDD的转换关系,构成了compute chain,可以把这个compute chain认...

2898
来自专栏about云

spark零基础学习线路指导

问题导读 1.你认为spark该如何入门? 2.你认为spark入门编程需要哪些步骤? 3.本文介绍了spark哪些编程知识? ? spark...

3925
来自专栏Albert陈凯

Spark概要掌握情况自我核查

1、Spark目前只持哪哪种语言的API? Java, Scala, Python, R. Ref: http://spark.apache.org/ 2、R...

2583
来自专栏王小雷

Spark学习之基础相关组件(1)

Spark学习之基础相关组件(1) 1. Spark是一个用来实现快速而通用的集群计算的平台。 2. Spark的一个主要特点是能够在内存中进行计算,因而更快。...

2078
来自专栏悦思悦读

Spark为什么比Hadoop快那么多?

在2014年11月5日举行的Daytona Gray Sort 100TB Benchmark竞赛中,Databricks 用构建于206个运算节点之上的spa...

49811
来自专栏一名叫大蕉的程序员

Spark你一定学得会(二)No.8

第一次分享的妥妥就是入门的干货,小伙伴们最好可以自己敲一敲代码,不然只看我的分享一点用都木有。但还是有很多小伙伴表示看不懂,没关系,慢慢来自己操作一遍有什么问题...

19210
来自专栏大数据架构

Spark性能优化之道——解决Spark数据倾斜(Data Skew)的N种姿势

25810
来自专栏涂小刚的专栏

【Spark教程】核心概念RDD

RDD全称叫做弹性分布式数据集(Resilient Distributed Datasets),它是一种分布式的内存抽象,表示一个只读的记录分区的集合,它只能通...

2K0
来自专栏大数据架构

Adaptive Execution 让 Spark SQL 更高效更智能

前面《Spark SQL / Catalyst 内部原理 与 RBO》与《Spark SQL 性能优化再进一步 CBO 基于代价的优化》介绍的优化,从查询本身与...

1081

扫码关注云+社区

领取腾讯云代金券