4.0Spark编程模型RDD

Spark核心技术与高级应用

第4章

编程模型

不自见，故明；不自是，故彰；不自伐，故有功；不自矜，故能长。

——《道德经》第二十二章

在面对自我的问题上，不自我表扬，反能显明；不自以为是，反能彰显；不自我夸耀，反能见功；不自我矜恃，反能长久。

与许多专有的大数据处理平台不同，基于Spark的大数据处理平台，建立在统一抽象的RDD之上，这是Spark这朵小火花让人着迷的地方，也是学习Spark编程模型的瓶颈所在，充满了很深的理论和工程背景。

本章重点讲解Spark编程模型的最主要抽象，第一个抽象是RDD（Resilient Distributed Dataset，弹性分布式数据集），它是一种特殊集合，支持多种来源，有容错机制，可以被缓存，支持并行操作；Spark的第二个抽象是两种共享变量，即支持并行计算的广播变量和累加器。

要理解Spark，就必须理解RDD。在学习过程中，希望能时刻警醒自己，做到不自见、不自是、不自伐、不自矜。

4.1 RDD介绍

基于Spark的大数据处理平台，建立在统一抽象的RDD之上，RDD是Spark围绕的核心概念，也是最主要的抽象之一。对于RDD和Spark，RDD是一种具有容错性基于内存的集群计算抽象方法，Spark则是这个抽象方法的实现。

4.1.1 RDD特征

简单来说，Spark一切都是基于RDD的，RDD就是Spark输入的数据，作为输入数据的每个RDD有五个特征，其中分区、一系列的依赖关系和函数是三个基本特征，优先位置和分区策略是可选特征。

1）分区（partition）：有一个数据分片列表，能够将数据进行切分，切分后的数据能够进行并行计算，是数据集的原子组成部分。

2）函数（compute）：计算每个分片，得出一个可遍历的结果，用于说明在父RDD上执行何种计算。

3）依赖（dependency）：计算每个RDD对父RDD的依赖列表，源RDD没有依赖，通过依赖关系描述血统（lineage）。

4）优先位置（可选）：每一个分片的优先计算位置（preferred locations），比如HDFS的Block的所在位置应该是优先计算的位置。

5）分区策略（可选）：描述分区模式和数据存放的位置，键-值对（key-value）的RDD根据哈希值进行分区，类似于MapReduce中的Paritioner接口，根据key来决定分配位置。

常用的RDD有很多种，可以说，每个Transformation操作都会产生一种RDD，这里我们以HadoopRDD、MappedRDD、FilteredRDD、JoinedRDD为例对特征进行说明，如表4-1所示。

表4-1 常用RDD特征说明

[插图]

4.1.2 RDD依赖

Spark中RDD的数据结构里很重要的一个域是对父RDD的依赖，Spark中的依赖关系主要体现为两种形式，窄依赖（narrow dependency）和宽依赖（wide dependency）。

图4-1对窄依赖和宽依赖进行了说明。

[插图]

图4-1 窄依赖和宽依赖

1. 窄依赖

窄依赖是指父RDD的每一个分区最多被一个子RDD的分区所用，表现为一个父RDD的分区对应于一个子RDD的分区（第一类），或多个父RDD的分区对应于一个子RDD的分区（第二类），也就是说一个父RDD的一个分区不可能对应一个子RDD的多个分区。

图4-1中，Map/Filter和Union属于第一类，对输入进行协同划分（co-partitioned）的Join属于第二类（协同划分，可以理解为指多个父RDD的某一分区的所有key，落在子RDD的同一分区的象限，不会产生同一父RDD的某一分区，落在子RDD的两个分区的情况）。

进一步说，子RDD的每个分区依赖于常数个父分区，与数据规模无关，输入输出是一对一的算子。当子RDD的每个分区依赖单个父分区时，分区结构不会发生变化，如Map、f latMap；当子RDD依赖多个父分区时，分区结构发生变化，如Union。

2.宽依赖

宽依赖是指子RDD的每个分区都依赖于所有父RDD的所有分区或多个分区，也就是说存在一个父RDD的一个分区对应一个子RDD的多个分区。

图4-1中的groupByKey和未经过协同划分的Join属于宽依赖。

3.依赖关系说明

对两种依赖关系进行如下说明：

窄依赖的RDD可以通过相同的键进行联合分区，整个操作都可以在一个集群节点上进行，以流水线（pipeline）的方式计算所有父分区，不会造成网络之间的数据混合。

宽依赖RDD会涉及数据混合，宽依赖需要首先计算好所有父分区数据，然后在节点之间进行Shuffle。

窄依赖能够更有效地进行失效节点的恢复，重新计算丢失RDD分区的父分区，不同节点之间可以并行计算；而对于一个宽依赖关系的血统（lineage）图，单个节点失效可能导致

这个RDD的所有祖先丢失部分分区，因而需要整体重新计算。

注意

Shuffle执行时固化操作，以及采取Persist缓存策略，可以在固化点，或者缓存点重新计算。

执行时，调度程序会检查依赖性的类型，将窄依赖的RDD划到一组处理当中，即Stage。宽依赖在一个执行中会跨越连续的Stage，同时需要显式指定多个子RDD的分区。