flink之运行架构、作业提交流程

运行架构：

1. 作业管理器（JobManager）

JobManager 是一个 Flink 集群中任务管理和调度的核心，是控制应用执行的主进程。

JobMaster

JobMaster是JobManager 中最核心的组件，负责处理单独的作业（Job）。所以 JobMaster 和具体的 Job 是一一对应的，多个 Job 可以同时运行在一个 Flink 集群中, 每个 Job 都有一个自己的JobMaster。早期版本没有JobMaster的概念；而JobManager的概念范围较小，实际指的就是现在所说的JobMaster。

在作业提交时，JobMaster会先接收到要执行的应用。“应用”一般是客户端提交来的Jar包，数据流图（dataflow graph）和作业图（JobGraph）。JobMaster会把JobGraph转换成一个物理层面的数据流图，这个图被叫作“执行图”ExecutionGraph，它包含了所有可以并发执行的任务。JobMaster 会向资源管理器ResourceManager发出请求，申请执行任务必要的资源。一旦它获取到了足够的资源，就会将执行图分发到真正运行它们的 TaskManager 上。

而在运行过程中，JobMaster会负责所有需要中央协调的操作，比如说检查点的协调。

资源管理器（ResourceManager）

ResourceManager 主要负责资源的分配和管理，在 Flink 集群中只有一个。所谓“资源”，主要是指 TaskManager 的任务槽（task slots）。任务槽就是 Flink 集群中的资源调配单元，包含了机器用来执行计算的一组 CPU 和内存资源。每一个任务（Task）都需要分配到一个 slot 上执行。

这里注意要把Flink内置的 ResourceManager 和其他资源管理平台（比如 YARN）的ResourceManager 区分开。

内置：

Flink 的 ResourceManager，针对不同的环境和资源管理平台（比如 Standalone 部署，或者 YARN），有不同的具体实现。在Standalone部署时，因为 TaskManager 是单独启动的（没有Per-Job 模式），所以 ResourceManager 只能分发可用 TaskManager 的任务槽，不能单独启动新TaskManager。

外置：

而在有资源管理平台（YARN）时，就不受此限制。当新的作业申请资源时，ResourceManager 会将有空闲槽位的TaskManager分配给JobMaster。如果ResourceManager没有足够的任务槽，它还可以向资源提供平台发起会话，请求提供启动 TaskManager 进程的容器。另外，ResourceManager 还负责停掉空闲的 TaskManager，释放计算资源。

（内置的ResourceManager不能申请新的TaskManager ， 而yarn可以申请TaskManager ）

分发器（Dispatcher）

Dispatcher 主要负责提供一个 REST 接口，用来提交应用，并且负责为每一个新提交的作业启动一个新的 JobMaster（一个job有一个专有的jobMaster） 组件。Dispatcher 也会启动一个 Web UI，用来方便地展示和监控作业执行的信息。Dispatcher在架构中并不是必需的，在不同的部署模式下可能会被忽略掉。

2. 任务管理器（TaskManager）

TaskManager 是 Flink 中的工作进程，数据流的具体计算就是它来做的，所以也被称为“Worker”。每一个TaskManager 都包含了一定数量的任务槽（task slots）。Slot 是资源调度的最小单位，slot 的数量限制了TaskManager 能够并行处理的任务数量。

启动之后，TaskManager会向资源管理器注册它的slots；收到资源管理器的指令后， TaskManager 就会将一个或者多个槽位提供给 JobMaster 调用，JobMaster 就可以分配任务来执行了。

在执行过程中，TaskManager可以缓冲数据，还可以跟其他运行同一应用的TaskManager交换数据。每个TaskManager负责管理其所在节点上的资源信息，如内存、磁盘、网络，在启动的时候将资源的状态向JobManager汇报。

作业流程

1、由客户端（App）通过分发器提供的 REST 接口，将作业（jar包）提交给JobManager。

2、由分发器启动 JobMaster，并将作业（包含 JobGraph）提交给 JobMaster。

3、JobMaster 将 JobGraph 解析为可执行的 ExecutionGraph，得到所需的资源数量，然后向资源管理器请求资源（slots）。

4、资源管理器（YARN）判断当前是否由足够的可用资源；如果没有，启动新的 TaskManager。

5、TaskManager 启动之后，向 ResourceManager 注册自己的可用任务槽（slots）。

6、资源管理器通知 TaskManager 为新的作业提供 slots。

7、TaskManager 连接到对应的 JobMaster，提供 slots。

8、JobMaster 将需要执行的任务分发给 TaskManager。

9、TaskManager 执行任务，互相之间可以交换数据。

我们已经彻底了解了由代码生成任务的过程，现在来做个梳理总结。

逻辑流图（StreamGraph）→ 作业图（JobGraph）→ 执行图（ExecutionGraph）→ 物理图（Physical Graph）。