技术篇：Spark的宽依赖与窄依赖

伊泽瑞尔

发布于 2022-06-01 08:37:37

1.4K0

发布于 2022-06-01 08:37:37

文章被收录于专栏：大数据与知识图谱大数据与知识图谱

Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分Stage，而划分依据就是RDD之间的依赖关系。

定义

窄依赖

窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用。

1个子RDD的分区对应于1个父RDD的分区，比如map，filter，union等算子。
1个子RDD的分区对应于N个父RDD的分区，比如co-partioned join。

宽依赖

宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用。

1个父RDD对应非全部多个子RDD分区，比如groupByKey，reduceByKey，sortByKey。
1个父RDD对应所有子RDD分区，比如未经协同划分的join。

图片来源于网络博客

为什么要有宽窄依赖？

窄依赖可以支持在同一个集群Executor上，以pipeline管道形式顺序执行多条命令，例如在执行了map后，紧接着执行filter。分区内的计算收敛，不需要依赖所有分区的数据，可以并行地在不同节点进行计算。所以它的失败回复也更有效，因为它只需要重新计算丢失的parent partition。

宽依赖需要所有的父分区都是可用的，必须等RDD的parent partition数据全部ready之后才能开始计算，可能还需要调用类似MapReduce之类的操作进行跨节点传递。从失败恢复的角度看，shuffle dependency牵涉RDD各级的多个parent partition。

DAG

RDD之间的依赖关系就形成了DAG（有向无环图），在Spark作业调度系统中，调度的前提是判断多个作业任务的依赖关系，这些作业任务之间可能存在因果的依赖关系，也就是说有些任务必须先获得执行，然后相关的依赖任务才能执行，但是任务之间显然不应出现任何直接或间接的循环依赖关系，所以本质上这种关系适合用DAG表示。

Stage划分

由于shuffle依赖必须等RDD的父RDD分区数据全部可读之后才能开始计算，因此Spark的设计是让父RDD将结果写在本地，完全写完之后，通知后面的RDD。因此，shuffle依赖就必须分为两个阶段(stage)：

第一个阶段(stage)需要把结果shuffle到本地，例如groupByKey，首先要聚合某个key的所有记录，才能进行下一步的reduce计算，这个汇聚的过程就是shuffle。
第二个阶段(stage)则读入数据进行处理。

对优化的帮助

宽依赖往往对应着shuffle操作，需要在运行过程中将同一个父RDD的分区传入到不同的子RDD分区中，中间可能涉及到多个节点之间的数据传输；而窄依赖的每个父RDD的分区只会传入到一个子RDD分区中，通常可以在一个节点内就可以完成了。
当RDD分区丢失时（某个节点故障），spark会对数据进行重算。
1. 对于窄依赖，由于父RDD的一个分区只对应一个子RDD分区，这样只需要重算和子RDD分区对应的父RDD分区即可，所以这个重算对数据的利用率是100%的。
2. 对于宽依赖，重算的父RDD分区对应多个子RDD分区，这样实际上父RDD 中只有一部分的数据是被用于恢复这个丢失的子RDD分区的，另一部分对应子RDD的其它未丢失分区，这就造成了多余的计算；更一般的，宽依赖中子RDD分区通常来自多个父RDD分区，极端情况下，所有的父RDD分区都要进行重新计算。
区分这两种依赖很有用。首先，窄依赖允许在一个集群节点上以流水线的方式（pipeline）计算所有父分区。例如，逐个元素地执行map、然后filter操作；而宽依赖则需要首先计算好所有父分区数据，然后在节点之间进行Shuffle，这与MapReduce类似。第二，窄依赖能够更有效地进行失效节点的恢复，即只需重新计算丢失RDD分区的父分区，而且不同节点之间可以并行计算；而对于一个宽依赖关系的Lineage图，单个节点失效可能导致这个RDD的所有祖先丢失部分分区，因而需要整体重新计算。