Spark学习笔记
原创Spark学习笔记
原创
Debug的香蕉
修改于 2020-12-10 10:30:01
修改于 2020-12-10 10:30:01
- RDD依赖 什么是依赖关系 通过构建依赖可以实现RDD容错 子RDD依赖于父RDD 为什么需要依赖 因为Spark基于RDD进行并行计算 RDD不可变可分区可进并行计算的集合 通过划分在宽依赖和窄依赖可以在窄依赖的过程中可以实现RDD分区的并行计算 但是宽依赖部分需要从上一个RDD的不同分区拉取数据，在shuffle阶段无法实行并行计算 依赖关系种类 窄依赖：NarrowDependency 宽依赖：ShuffleDependency 如何判断宽窄？ 通过一个父RDD跟一个子RDD对应，窄依赖 通过一个父RDD跟多个子RDD对应，宽依赖 Spark设计依赖关系目的 为了能够SPark并行计算 划分Stage的依据 为了构建血缘关系进行容错
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
相关产品与服务
GPU 云服务器
GPU 云服务器（Cloud GPU Service，GPU）是提供 GPU 算力的弹性计算服务，具有超强的并行计算能力，作为 IaaS 层的尖兵利器，服务于深度学习训练、科学计算、图形图像处理、视频编解码等场景。腾讯云随时提供触手可得的算力，有效缓解您的计算压力，提升业务效率与竞争力。