一图胜千言:大数据入门必备的16张数据流转图(建议收藏)

前言

大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。

以下是我在学大数据时学大数据不得不背的15张数据流转图

首先必须给HDFS读写数据图排面,学习大数据开发第一座的大山!

1.HDFS读写数据

HDFS读数据图:

img

HDFS写数据图:

image-20210629202337448

MR的洗牌机制也是绕不过去的

2.MapReduce 的 Shuffle 过程

MapReduce 的详细工作流程：

image-20210629202557276

image-20210629202605145

3.Yarn的Job提交流程

image-20210629202717055

4.Yarn 的调度器分类

FIFO 调度器（先进先出调度器）

image-20210629202944975

Capacity Scheduler(容量调度器)

image-20210629202953694

Fair Sceduler（公平调度器）

image-20210629203034024

5.Kafka 架构图

image-20210629203310935

在这里插入图片描述

6.Hive架构图

image-20210629203436724

7.HBase存储结构图

image-20210629203526555

HBase读流程

image-20210629203603384

HBase读流程

image-20210629203612315

Hadoop体系完了,下面是Spark和Flink体系

loading>>>>>>>>>>

8.Spark 的架构与作业提交流程

image-20210629203709905

Spark实现WordCount执行流程图

image-20210629205901054

补充 YARN Client 模式和YARN Cluster模式的区别

在这里插入图片描述

9.Spark 的 两 种 核 心 Shuffle （ HashShuffle 与SortShuffle）的工作流程

(1)未经优化的 HashShuffle

image-20210629204414445

优化后的HashShuffle

image-20210629204539485

(2)普通的 SortShuffle：

image-20210629204649515

开启bypass机制后:

image-20210629204701505

10.SparkSQL 中 RDD、DataFrame、DataSet 三者的区别与联系图解

image-20210629204910494

11.Flink架构模型图

image-20210629205118895

12.Flink任务调度图

image-20210629205134545

13.Flink On Yarn执行流程图

在这里插入图片描述

14.Flink 实现 SQL 解析图

image-20210629211137820

15.Flink 的容错机制

image-20210629211158254

总结

以上便是本码农总结的15张大数据开发必背的数据流转图,有事没事拿出来看一看,潜移默化自然就记下来了~