专栏首页BigData_Flink宽窄依赖影响的是什么?

宽窄依赖影响的是什么?

影响的是stage。

A1 原因

因为stage的切割依据是RDD之间的宽窄依赖。

stage的切割规则:从后往前,遇到宽依赖就切割stage。

A2 图解

从图中可以看出

  1. stage中引入DAG(有向无环图,指定执行顺序ABCDEFG)
  2. A->B是宽依赖,F->G是宽依赖,stage的切割从A和F
  3. join有宽有窄
  4. stage中串并同存在

A3 问题

stage详解

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Spark Core快速入门系列(6) | RDD的依赖关系

      RDD只支持粗粒度转换,即在大量记录上执行的单个操作。将创建RDD的一系列Lineage(血统)记录下来,以便恢复丢失的分区。RDD的Lineage会记录R...

    不温卜火
  • 判断flatmap、reduceByKey、GroupByKey算子的宽窄

    CoreDao
  • Spark常见面试题

    1、scala 语言有什么特点,相比java有什么优点? 2、什么是Scala的伴生类和伴生对象? 3、spark有什么特点,处理大数据有什么优势? 4、...

    曼路
  • Spark学习笔记

    Debug的香蕉
  • RDD分区理解

    一个HDFS文件的RDD将文件的每个文件块表示为一个分区,并且知道每个文件块的位置信息。这些对应着数据块的分区分布到集群的节点中,因此,分区的多少涉及对这个RD...

    张凝可
  • Spark概要掌握情况自我核查

    1、Spark目前只持哪哪种语言的API? Java, Scala, Python, R. Ref: http://spark.apache.org/ 2、R...

    Albert陈凯
  • 3.3RDD的转换和DAG的生成

    3.3 RDD的转换和DAG的生成 Spark会根据用户提交的计算逻辑中的RDD的转换和动作来生成RDD之间的依赖关系,同时这个计算链也就生成了逻辑上的DAG...

    Albert陈凯
  • Spark2.x学习笔记:11、RDD依赖关系与stage划分

    11、 RDD依赖关系与stage划分 Spark中RDD的高效与DAG图有着莫大的关系,在DAG调度中需要对计算过程划分stage,而划分依据就是RDD之间的...

    程裕强
  • Spark的核心RDD,内存中集群计算的容错抽象

    为了满足基于内存的分布式计算思想,需要定义一种分布式计算抽象,保证在分布式环境中能够正确、高效地完成任务。

    用户8241065

扫码关注云+社区

领取腾讯云代金券