开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >专栏 >宽窄依赖影响的是什么？

宽窄依赖影响的是什么？

作者头像

CoreDao

发布于 2021-04-13 10:43:42

3550

发布于 2021-04-13 10:43:42

举报

文章被收录于专栏：BigData_Flink BigData_FlinkBigData_Flink

影响的是stage。

A1 原因

因为stage的切割依据是RDD之间的宽窄依赖。

stage的切割规则：从后往前，遇到宽依赖就切割stage。

A2 图解

从图中可以看出

stage中引入DAG（有向无环图，指定执行顺序ABCDEFG）
A->B是宽依赖，F->G是宽依赖，stage的切割从A和F
join有宽有窄
stage中串并同存在

A3 问题

stage详解

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2021-03-10 ，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

0 条评论

热度

最新

LV.

目录

A1 原因
A2 图解
A3 问题