Flink（一）

matt

发布于 2022-10-25 16:01:55

5510

发布于 2022-10-25 16:01:55

文章被收录于专栏：CSDN迁移

Flink

一、介绍

Apache Flink（德语：快速灵巧，原德国柏林大学基金会项目）是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。ms级别水平。data flow+event sequence。

流数据更真实地反映了我们的生活方式，传统数据架构是基于有限数据集的离线处理。

目标：低延迟、高吞吐、结果的准确顶和良好的容错性。
应用场景：电商和市场营销，数据报表、广告投放、业务流程需要；物联网（everything has id and creates data），传感器实时数据采集和显示、实时报警、交通运输业；电信业，基站流量调配；银行和金融业，实时结算和通知推送、实时监测异常行为。
数据架构（1）传统架构联机事务处理过程（OLTP）

联机分析处理过程（OLAP）：将数据从业务数据ETL（Extract-Transform-Load，抽取-转换-加载）到数仓，再进行分析和查询。

（2）流式处理有状态的流式处理 data pipe line，借鉴了事务处理模式，本地状态提速（周期性检查表存储至远程）。缺点：分布式延迟会导致乱序问题。

Lambda架构用两套系统（批处理，保证结果正确性+流处理，实时计算结果），同时保证延迟和结果准确（校验结果）。缺点：重复造轮子，维护。

Flink架构 Spark Streaming将批处理的批次分的足够小，基于批处理引擎的流计算（micro-batching）。

主要特点 1.事件驱动（Event-driven）：data pipe的一部分，根据本地状态快速响应

2.基于流：离线数据是有界的流，实时数据是无界流 3.分层API：SQL/Table API（dynamic tables）、DataStream API（streams、windows）、ProcessFunction API（events、state、time） 4.支持事件时间（event-time）和处理时间（processing-time）语义；精确一次（exactly-one）的状态一致性保证；低延迟，ms级，每秒处理百万个事件；存储系统连接广；高可用，动态扩展，实现7*24小时。

二、安装部署

三种方式：Standalone模式、Yarn模式（必须hadoop支持版本且有HDFS）、Kubernetes部署（容器化部署）下载地址

master配置jobmanager，slaves配置taskmanager（干活的）。配置的rest.port: 8081为可视化UI端口。H

每个算子都可以单独设置并行度setParallelism()，默认并行度自行设置。
taskmanager.numberOfTaskSlots: 1 为每个Flink TaskManager在集群中提供处理槽， 插槽的数量通常与每个TaskManager的可用CPU内核数成比例

命令行提交job：

./bin/start-cluster.sh
./bin/flink run -c ${class-path} -p ${parallelism-number} ${jar-path} ${parameters}
./bin/flink list  # 可以加--all
./bin/flink cancel ${job-id}
./bin/stop-cluster.sh

三、运行架构

1. 运行时的组件

组件：作业管理器（Job Manager）、任务管理器（Task Manager）、资源管理器（Resource Manager）、分发器（Dispacher）

（1）Job Manager 控制一个应用程序执行的主进程，即一个应用程序对应一个Job Manager。 Job Manager会接受的应用程序包括：作业图（Job Graph）、逻辑数据流图、打包了所有的类/库/其他资源的JAR包。Job Manager会把Job Graph转换成一个物理层面的数据流图，称为执行图（Execution Graph），包含所有可以并发执行的任务。 Job Manager会向Resource Manager请求执行任务必要的资源（Task Manager上的Slot），将Execution Graph分发到真正运行它们的Task Manager上。运行过程中Job Manager会负责所有需要中央协调的操作，如检查点（Check Points）的协调。

（2）Task Manager Flink中的工作进程，每个Task Manager包含一定数量的插槽（Slots，线程运行的资源），插槽限制了Task Manager能够执行的任务数量。启动后，Task Manager会向Resource Manager注册它的插槽。收到Resource Manager的指令后，Task Manager会将一个或多个插槽提供给Job Manager分配任务来执行调用。执行过程中，一个Task Manager可以喝其他运行同一应用程序的Task Manager交换数据（分布式集群）。

（3）Resource Manager 主要负责管理Task Manager的Slot，Slot是Flink中定义的处理资源单元。Flink为不同的环境和资源管理器工具提供了不同的Resource Manager（Yarn、k8s）。

（4）Dispacher 非必需，可跨作业运行，为应用提供了REST接口。当一个应用被提交执行时，Dispacher会启动并将应用交给一个Job Manager。Dispatcher也会启动一个Web UI。

2. Flink任务提交流程

YARN和K8S有所不同。

3. 任务调度原理

执行：Flink程序首先生产一个Dataflow Graph（DG），通过Client将Task（DG和Code）提交到JM（通过Dispatcher）。JM接收到Task之后，将DG转换成Execution Graph发送给TM，对应的Task就可以在每个Slot上执行了。

4. TaskManager（TM）和Slots

Flink中每一个TM都是一个JVM进程，会在独立的线程上执行一个或多个subtask。为了控制一个TM能接收多个task，TM通过task slot来进行控制。

Slots是静态的概念，指TM具有的并发执行的能力。用来隔离内存，一般根据CPU核心数量来设定。默认情况下，Flink允许子任务共享Slot，即使是不同任务的子任务，即一个Slot可以保存作业的整个管道。

5. DataFlow

Flink程序都是由三部分组成:Source（读取数据源）、Transformation（数据处理转换）、Sink（数据输出）。运行时，Flink上运行的程序会被映射成DataFlow（逻辑数据流），一个DataFlow以一个或多个Source开始，以一个或多个Sink结束，程序中的转换运算（Transformations）跟DataFlow中的算子（operator）一一对应，类似于任意的有向无环图（DAG）。

6. ExecutionGraph

Flink中的执行图可以分成四层：StreamGraph->JobGraph->ExecutionGraph->物理执行图。 StreamGraph：根据用户通过Stream API编写的代码在Client生成的最初的图，表示程序的拓扑结构。（多少个Operator对应多少个Task） JobGraph：StreamGraph经过优化后生成的提交给JM的数据结构，主要讲多个符合条件的节点chain在一起作为一个节点。（符合条件的Operator合并为一个Task） ExecutionGraph：JM根据JobGraph生成的并行化版本，是调度层最核心的数据结构。（根据并行度做出并行版本）物理执行图：JM根据ExecutionGraph对Job进行调度后，在各个TM上部署Task后形成的图，并非一个具体的数据结构。（TM上执行的物理含义）

7. Parallelism（数据并行范围）

一个特定Operator的Subtask的个数被称为Parallelism（并行度），一般地，一个Stream的并行度可被认为是其所有Operator中最大的Parallelism。一个程序中，不同Operator可以有不同的并行度，之间传输数据的形式可以是one-to-one（forwarding）模式也可以是redistributing模式，取决于Operator的种类。

One-to-One：（窄依赖）Stream维护者分区以及元素的顺序，如map算子的子任务看到的元素个数及顺序跟source算子的子任务产生的元素个数、顺序相同。map、filter、flatMap等算子均为此模式。 Redistributing：（宽依赖）Stream分区会发生改变，每个Operator的Subtask依据所选择的transformation发送数据到不同的目标任务。如keyBy基于hashCode重分区，broadcast和rebalance会随机重新分区。