专栏首页Flink-selfLearn14.下-启动JobMaster-JM申请slot
原创

14.下-启动JobMaster-JM申请slot

jobmaster启动-申请slot流程

对照着人家的图上, 我接着看到了JobMaster启动的流程, 这其中有很多, 但我只跟着图中的申请资源的一条线看的. 对于JobGraph如何转化成executionGraph, 以及executionGraph如何映射到slot上面, 我不清楚. 这两天就看了slot的申请流程, 和Mr.高的图一样:

1. JM先向RM申请slot, 对应图中的第五步. JM把自己的slotRequest先缓存起来.

2. RM接收到申请, 匹配好slot(因为是cluster模式, RM已拿到所有的TM, 所以没有6-7步),

3. RM通知slot对应的TM, 然后告诉它的某个slot被分配给某个JM了.

4. TM接收到自己被分配的通知, 在slot管理上把它分配了, 然后如果能分配的画就把slot送给JM

5. JM收到TM送过来的slot, 然后放在slotPool里面, 把它标记成available. 如果有pending的slotRequest(一定有, 就是我们上面缓存起来的slotRequest), 就把slot填补slotRequest的需求

TODO:

下面想就跟着现在看的流程往后走,

1. 看看拿到的slot怎么使用的?

2. 第十步, task怎么提交给TM的?

今天是21年2月11下午2点27, 明天新春快乐, 祝自己新年: 1. 早点看清Flink的迷雾.2. 开始面向面试编程, 早点准备.

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Flink深入浅出: 资源管理(v1.11)

    Flink在资源管理上可以分为两层:集群资源和自身资源。集群资源支持主流的资源管理系统,如yarn、mesos、k8s等,也支持独立启动的standalone集...

    用户1154259
  • 【推荐系统算法实战】Flink 架构及其工作原理

    分布式系统需要解决:分配和管理在集群的计算资源、处理配合、持久和可访问的数据存储、失败恢复。Fink专注分布式流处理。

    一个会写诗的程序员
  • Flink深入浅出: 应用部署与原理图解(v1.11)

    Flink在1.11版本新增了一种部署模式,目前支持三种:Session 模式、Per job 模式、Application 模式,这三种模式主要在集群管理、资...

    用户1154259
  • [源码解析] Flink的Slot究竟是什么?(1)

    Flink的Slot概念大家应该都听说过,但是可能很多朋友还不甚了解其中细节,比如具体Slot究竟代表什么?在代码中如何实现?Slot在生成执行图、调度、分配资...

    罗西的思考
  • [源码解析] 从TimeoutException看Flink的心跳机制

    本文从一个调试时候常见的异常 "TimeoutException: Heartbeat of TaskManager timed out"切入,为大家剖析Fli...

    罗西的思考
  • 14.上-Dispoatch接收jobGraph-启动jobMaster

    这次就是为了看下图的第三步, 其实也看完了, 但是想把第三步和第四步结合起来, 所以是14上

    wangyk
  • flink on yarn部分源码解析 (FLIP-6 new mode)

    我们在https://www.cnblogs.com/dongxiao-yang/p/9403427.html文章里分析了flink提交single job到y...

    sanmutongzi
  • 听说你熟悉Flink-On-Yarn的部署模式?

    Flink提供了两种在yarn上运行的模式,分别为Session-Cluster和Per-Job-Cluster模式,本文分析两种模式及启动流程。

    王知无-import_bigdata
  • 从头分析flink源码第五篇之提交jobGraph时各组件内部都发生了什么?

    上几篇文章中我们分析了一个flink wordcount任务生成streamGraph和jobGraph的过程。接下来,我们继续从jobGraph生成后开始来分...

    开发架构二三事
  • 数栈技术分享:一文带你了解Flink jm、tm启动过程和资源分配

    4)在perJob模式下,最终调用的是YarnJobClusterEntrypoint

    数栈DTinsight
  • Flink架构

    Flink整体由JobManager和TaskManager组成,遵循主从设计原则,JobManager为Master节点,TaskManager为worker...

    神秘的寇先森
  • 一文搞定 Flink Job 提交全流程

    前面,我们已经分析了 一文搞定 Flink 消费消息的全流程 、写给大忙人看的 Flink Window原理 还有 一文搞定 Flink Checkpoint ...

    shengjk1
  • 深入理解 Flink 容错机制

    场景描述:作为分布式系统,尤其是对延迟敏感的实时计算引擎,Apache Flink 需要有强大的容错机制,以确保在出现机器故障或网络分区等不可预知的问题时可以快...

    大数据真好玩
  • Flink源码解读系列 | 任务提交流程

    Flink在1.10版本对整个作业提交流程有了较大改动,详情请见FLIP-73。本文基于1.10对作业提交的关键流程进行分析,不深究。 入口: 依旧是main函...

    大数据真好玩
  • [源码解析] Flink的Slot究竟是什么?(2)

    Flink的Slot概念大家应该都听说过,但是可能很多朋友还不甚了解其中细节,比如具体Slot究竟代表什么?在代码中如何实现?Slot在生成执行图、调度、分配资...

    罗西的思考
  • Apache Flink 零基础入门(二):开发环境搭建和应用的配置、部署及运行

    我们在系列文章第一篇已经为大家介绍了 Flink 的基本概念以及安装部署的过程,希望能够帮助读者建立起对 Flink 的初步印象。这是系列文章第二篇,主要面向于...

    Java帮帮
  • Flink on Yarn两种模式启动参数及在Yarn上的恢复

    注意:系统和运行脚本在启动时解析配置.对配置文件的更改需要重新启动Flink JobManager和TaskManagers

    神秘的寇先森
  • Flink on Yarn - CDH5

    根据Flink官网资料,实操CDH5.16.2上配置Flink on yarn,给出了flink on yarn的集成方式和HA的配置方式

    Eights

扫码关注云+社区

领取腾讯云代金券