专栏首页暴走大数据Flink源码解读系列 | Job启动TaskManager端

Flink源码解读系列 | Job启动TaskManager端

这篇主要就讲一下,Job在TaskManager端是如何启动的

先来看一下,TaskManager端用来接收JobManager发送过来的TDD对象的RPC接口

在TaskExecutor.java中

这个方法用于接收了一个TaskDeploymentDescriptor对象用于启动任务(上一篇知道这里executionGraph的每一个并行度都会调用deploy方法生成一个TDD)

来看一下具体接收到以后做了什么

创建了一个Task并且将其内部的一个线程启动起来了

注意这里从TDD中得到了InputGate,Partition的信息,用于创建InputGate,ResultPartition

InputGate用于对接上游产生的数据(消费)

ResultPartition用于往下游发送自己产生的数据(生产)

来看一下Task创建,在Task的构造方法中

这里看到创建了对应往下游发送数据的ResultPartition

ResultPartition中创建的SubPartition具体分为

可以看到就是说三个参数分别对应

  PIPELINED 可以边消费边生产,是有背压的,这个partition没有buffer数量的限制

     (因为背压的控制是通过,接收数据端公用同一个指定大小的bufferPool,以后背压的时候讲)

  其他同理

这里看一下不同类型的ResultPartitionType是创建的什么subpartitions

BLOCKING 这种创建了一个SpillableSubpartition并且传进去了一个ioManager(这个ioManager以后io管理细讲)

大致看了一下就是说这种Subpartition是会落盘的

PIPELINED 而这种方式是完全基于内存的

根据上游的信息创建好ResultPartition以后

接着创建了InputGate用于接收上游的数据,并且在create方法中

会根据partition的位置创建对应的channel,这里可以分为

Local 就是说下游和自己是在同一台机器

Remote 下游是需要通过网络发送的

并且在这里将inputGate和它所有的inputChannels关联了起来

创建完inputGate以后Task就初始化完了,然后会被start()起来,来看下Task的run方法

在run方法中

这个地方会为初始化inputGate与ResultPartition的bufferPool(以后讲到反压在讲)

继续

这里通过反射创建了一个StreamTask的实例

并且

调用了他的invoke()方法,这里也是Job开始的逻辑,来看一下invoke方法

在invoke方法中

只要知道这里会初始化OperatorChain这里包含了我们用户算子的逻辑(这里不细讲,随缘讲到Task操作责任链的时候讲)

然后得到了operatorChain的头headoperator其实这里的头就包含了用户的第一个算子逻辑在里面

然后init()方法中用上面的headoperator初始化了一个inputProcess对象并且关联上了上面创建的inputGate(也是留到责任链讲)

接着

这里就是上面在init方法中创建的inputProcess,并且调用了他的processInput方法

重头戏来了,来看一下processInput方法

这里有个while(true)也就是说这里会一直循环下去

来看一下他循环做什么

这里!!!!这个streamOperator就是上面构造inputProcess时传入的headOperator

这个processElement方法里面就是调用用户的方法啦

也就是不停的从上游接收到数据以后,调用用户具体的处理逻辑

这里job就启动完成了

注意这个while循环内既然开始走我们用户的逻辑,那肯定会先从inputGate关联到的上游获取数据

这里就非常重要了,因为接收数据就包含了很多的机制的实现

包含了watermark处理的逻辑,水印对齐的逻辑,水印更新的逻辑,如下

以及idle停滞流逻辑,流状态更新逻辑

以及如何接收数据逻辑,接收端反压的逻辑,barriers对齐的逻辑,checkpoint触发的逻辑

所以这个StreamInputProcessor.processInput()方法是一个非常重要的方法,以后随缘更新各种机制的时候也会经常看到。

本文分享自微信公众号 - 大数据真好玩(havefun_bigdata)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-09-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Flink源码解读系列 | TaskManager启动

    通过启动脚本已经找到了TaskManager 的启动类org.apache.flink.runtime.taskexecutor.TaskManagerRunn...

    大数据真好玩
  • Kafka+Spark Streaming管理offset的几种方法

    场景描述:Kafka配合Spark Streaming是大数据领域常见的黄金搭档之一,主要是用于数据实时入库或分析。为了应对可能出现的引起Streaming程序...

    大数据真好玩
  • Flink源码解读系列 | Flink中TaskManager端执行用户逻辑过程

    TaskManager接收到来自JobManager的jobGraph转换得到的TDD对象,启动了任务,在StreamInputProcessor类的proce...

    大数据真好玩
  • Cocos2d-js 3.0 颜色变换(调整sprite/图片的色调)

    用户1258909
  • 8亿参数,刷新ImageNet纪录:何恺明团队开源最强ResNeXt预训练模型

    它叫ResNeXt WSL,有超过8亿个参数,用Instagram上面的9.4亿张图做了 (弱监督预训练) ,用ImageNet做了微调。

    昱良
  • 8亿参数,刷新ImageNet纪录:何恺明团队开源最强ResNeXt预训练模型

    它叫ResNeXt WSL,有超过8亿个参数,用Instagram上面的9.4亿张图做了 (弱监督预训练) ,用ImageNet做了微调。

    量子位
  • ggplot2拓展功能:局部放大和边际密度图

    http://www.sthda.com/english/articles/32-r-graphics-essentials/131-plot-two-cont...

    拴小林
  • HashMap源码解析

    在前几篇中我们主要介绍了ArrayList、LinkedList、Vector、Stack等集合的底层实现及相关特性,并且我们知道在上述集合类中无论底层是采用数...

    吉林乌拉
  • 这才是最好的数学书(上)

    看了《穷查理宝典》,更了解到跨学科学习的重要性,对于书中提到的主要的几个学科:数学、会计学、心理学和微观经济学,以前大多只是零零散散地学习过。对于不怎么感兴趣的...

    张子阳
  • vuejs基础-MVVM结构

    每当用户进行业务处理时,如果需要进行业务处理,都会通过网络请求,去请求后端的服务器,此时,我们的这个请求,就会被后端的App.js监听到

    eadela

扫码关注云+社区

领取腾讯云代金券