腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
新鲜事儿
专栏成员
举报
1
文章
904
阅读量
1
订阅数
订阅专栏
申请加入专栏
全部文章(1)
css(1)
编程算法(1)
spark(1)
搜索文章
搜索
搜索
关闭
数据处理日常之Spark-Stage与Shuffle
spark
css
编程算法
Spark Stage, DAG(Directed Acyclic Graph) Spark 划分 Stage 的依据是其根据提交的 Job 生成的 DAG,在离散数学中我们学到了一个 有向无环图(Directed Acyclic Graph) 的概念,再生产环境中,我写的任务仅仅是 有向树(Directed tree) 级别,有向无环图还未遇到过。 但是可以想象到,如果在代码中使用了 RDD 的 join 算子是有可能出现 有向无环图 的 DAG。对于我们组所使用的日志数据处理,主要还是集中在 有向树复杂
新鲜事儿
2021-07-01
904
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档