Spark运行机制与原理详解目录Spark Internals

https://github.com/JerryLead/SparkInternals

Spark Internals

Spark Version: 1.0.2 Doc Version: 1.0.2.0

Authors

Weibo Id

Name

@JerryLead

Lijie Xu

Introduction

本文主要讨论 Apache Spark 的设计与实现,重点关注其设计思想、运行原理、实现架构及性能调优,附带讨论与 Hadoop MapReduce 在设计与实现上的区别。不喜欢将该文档称之为“源码分析”,因为本文的主要目的不是去解读实现代码,而是尽量有逻辑地,从设计与实现原理的角度,来理解 job 从产生到执行完成的整个过程,进而去理解整个系统。

讨论系统的设计与实现有很多方法,本文选择 问题驱动 的方式,一开始引入问题,然后分问题逐步深入。从一个典型的 job 例子入手,逐渐讨论 job 生成及执行过程中所需要的系统功能支持,然后有选择地深入讨论一些功能模块的设计原理与实现方式。也许这样的方式比一开始就分模块讨论更有主线。

本文档面向的是希望对 Spark 设计与实现机制,以及大数据分布式处理框架深入了解的 Geeks。

因为 Spark 社区很活跃,更新速度很快,本文档也会尽量保持同步,文档号的命名与 Spark 版本一致,只是多了一位,最后一位表示文档的版本号。

由于技术水平、实验条件、经验等限制,当前只讨论 Spark core standalone 版本中的核心功能,而不是全部功能。诚邀各位小伙伴们加入进来,丰富和完善文档。

关于学术方面的一些讨论可以参阅相关的论文以及 Matei 的博士论文,也可以看看我之前写的这篇 blog

好久没有写这么完整的文档了,上次写还是三年前在学 Ng 的 ML 课程的时候,当年好有激情啊。这次的撰写花了 20+ days,从暑假写到现在,大部分时间花在 debug、画图和琢磨怎么写上,希望文档能对大家和自己都有所帮助。

Contents

本文档首先讨论 job 如何生成,然后讨论怎么执行,最后讨论系统相关的功能特性。具体内容如下:

  1. Overview 总体介绍 Spark详解01概览|Spark部署|执行原理
  2. Job logical plan 介绍 job 的逻辑执行图(数据依赖图) Spark详解02Job 逻辑执行图
  3. Job physical plan 介绍 job 的物理执行图 Spark详解03Job 物理执行图
  4. Shuffle details 介绍 shuffle 过程 Spark详解04Shuffle 过程
  5. Architecture 介绍系统模块如何协调完成整个 job 的执行 Spark详解05架构Architecture
  6. Cache and Checkpoint 介绍 cache 和 checkpoint 功能 Spark详解06容错机制Cache 和 Checkpoint
  7. Broadcast 介绍 broadcast 功能 Spark详解07广播变量Broadcast
  8. Job Scheduling 尚未撰写
  9. Fault-tolerance 尚未撰写

可以直接点 md 文件查看。

喜欢看 pdf 版本的可以去 这里 下载。

如果使用 Mac OS X 的话,推荐下载 MacDown 后使用 github 主题去阅读这些文档。

Examples

写文档期间为了 debug 系统,自己设计了一些 examples,放在了 SparkLearning/src/internals 下。

Acknowledgement

文档写作过程中,遇到过一些细节问题,感谢下列同学给予的解答、讨论和帮助:

  • @Andrew-Xia 参与讨论了 BlockManager 的实现与 broadcast(rdd) 会出现的情况。
  • @CrazyJVM 参与讨论了 BlockManager 的实现。
  • @王联辉 参与讨论了 BlockManager 的实现。

感谢下列同学对文档内容的补充:

Weibo Id

章节

补充内容

修改状态

@OopsOutOfMemory

Overview

workers 与 executors 的关系及 Spark Executor Driver资源调度小结

由于这部分内容的相关实现还在不断 update,本文暂不作结论性总结,已添加详情链接到该同学的 blog

感谢下列同学指出文档中的不足或错误:

Weibo Id

章节

不足或错误

修改状态

@Joshuawangzj

Overview

多个 application 运行时 worker 应该会启动多个 Backend 进程

已修改,但需要进一步实验证实。怎么控制 Backend 的个数还不清楚

@_cs_cm

Overview

最新的 groupByKey() 已经取消蕴含的 mapValues() 操作,没有MapValuesRDD 产生了

已修改 groupByKey() 相关的 figures 和描述

@染染生起

JobLogicalPlan

FullDepedency 中的 N:N 关系是否属于 NarrowDependency

将原来的两种 NarrowDependency 描述改为更清楚的三种,已做更详细的说明

@zzl0

前四章

很多 typos,比如 “groupByKey 产生了后面三个 RDD”,应该是两个。详见 pull request。

已经全部修改

@左手牵右手TEL

Cache 和 Broadcast 两章

很多 typos

已经全部修改

@cloud-fan

JobLogicalPlan

Cogroup() 图中的某些剪头应该是红色的

已经全部修改

@CrazyJvm

Shuffle details

从 Spark1.1开始spark.shuffle.file.buffer.kb的默认值为32k,而不是100k

已经全部修改

特别感谢 @明风Andy 同学给予的大力支持。

Special thanks to the rockers (including researchers, developers and users) who participate in the design, implementation and discussion of big data systems.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏挖掘大数据

Apache Spark 黑名单机制介绍

在使用 Apache Spark的时候,作业会以分布式的方式在不同的节点上运行;特别是当集群的规模很大时,集群的节点出现各种问题是很常见的,比如某个磁盘出现问题...

36670
来自专栏别先生

一脸懵逼学习Hadoop-HA机制(以及HA机制的配置文件,测试)

1:能否让两个NameNode都正常影响客户端请求?   应该让两个NameNode节点在某个时间只能有一个节点正常影响客户端请求,相应请求的必须为Active...

24960
来自专栏架构师小秘圈

Hive极简教程

一、HIVE架构 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和...

63060
来自专栏about云

Cloudera Enterprise 6.0发布【集成Hadoop3.0】

问题导读 1.cloudera集成了哪些新的组件? 2.Cloudera Manager可以管理多少节点? 3.升级版本有哪些条件? 看到同行Fayson文章...

20230
来自专栏开源优测

大数据测试学习笔记之监控工具Dr.Elephant

大数据测试学习笔记之监控工具Dr.Elephant 随着大数据测试方面的学习扩展得越来越多,开始找了些关于大数据技术方面的监控工具,本文主要介绍linkedin...

42250
来自专栏PPV课数据科学社区

实用 | Apache Hadoop 3.0.0-alpha2版本发布

作者:Andrew Wang,Ray Chiang Andrew Wang是Cloudera公司HDFS团队的一名软件工程师、Apache Hadoop PMC...

29540
来自专栏祝威廉

Spark Streaming 妙用之实现工作流调度器

其他的都是基础设施。按照Transfomer架构的设计理念,我们应该可以找到一个Estimator ,作为我们的基础设施,我们只要关注上面两点即可,不需要为部署...

8410
来自专栏个人分享

分布式系统常用思想和技术

感谢该作者的总结,转载地址:http://blog.arganzheng.me/  本人将重点进行加粗,便于大家一起查阅学习

16430
来自专栏木宛城主

SharePoint 2013 实现多级审批工作流

上一篇介绍了安装和配置SharePoint 2013 Workflow,这一篇将用SharePoint 2013 Designer Workflow来实现一个...

25190
来自专栏人工智能头条

Meson:Netflix即将开源的机器学习工作流编排工具

26730

扫码关注云+社区

领取腾讯云代金券