专栏首页Flink-selfLearn14.上-Dispoatch接收jobGraph-启动jobMaster
原创

14.上-Dispoatch接收jobGraph-启动jobMaster

这次就是为了看下图的第三步, 其实也看完了, 但是想把第三步和第四步结合起来, 所以是14上

Flink 集群的基本结构

我画的"流程图"

dispatcher怎么接收jobGraph, 然后启动一个jobMaster

DONE:

1. Dispatcher提交jobGraph, 包装JobManagerRunner提供master-slave功能

2. jobManagerRunner为这个JobGraph启动一个jobMaste

TODO

1. jobMaster怎么使用这个jobGraph来工作呢???

2. 还有之前的, jobMaster怎么向resourceManager申请资源呢? 还有 resourceManager什么时候向TM申请slot>

嘻嘻, 终于有一点头绪了, 希望看jobMaster的时候不会像上一次看晕.

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 一文搞定 Flink Job 提交全流程

    前面,我们已经分析了 一文搞定 Flink 消费消息的全流程 、写给大忙人看的 Flink Window原理 还有 一文搞定 Flink Checkpoint ...

    shengjk1
  • Flink源码解读系列 | 任务提交流程

    Flink在1.10版本对整个作业提交流程有了较大改动,详情请见FLIP-73。本文基于1.10对作业提交的关键流程进行分析,不深究。 入口: 依旧是main函...

    大数据真好玩
  • 从头分析flink源码第五篇之提交jobGraph时各组件内部都发生了什么?

    上几篇文章中我们分析了一个flink wordcount任务生成streamGraph和jobGraph的过程。接下来,我们继续从jobGraph生成后开始来分...

    开发架构二三事
  • 听说你熟悉Flink-On-Yarn的部署模式?

    Flink提供了两种在yarn上运行的模式,分别为Session-Cluster和Per-Job-Cluster模式,本文分析两种模式及启动流程。

    王知无-import_bigdata
  • 追源索骥:透过源码看懂Flink核心框架的执行流程

    写在最前:因为这篇博客太长,所以我把它转成了带书签的pdf格式,看起来更方便一点。想要的童鞋可以到我的公众号“老白讲互联网”后台留言flink即可获取。

    老白
  • Flink深入浅出: 应用部署与原理图解(v1.11)

    Flink在1.11版本新增了一种部署模式,目前支持三种:Session 模式、Per job 模式、Application 模式,这三种模式主要在集群管理、资...

    用户1154259
  • 深入理解 Flink 容错机制

    作为分布式系统,尤其是对延迟敏感的实时计算引擎,Apache Flink 需要有强大的容错机制,以确保在出现机器故障或网络分区等不可预知的问题时可以快速自动恢复...

    zhisheng
  • 深入理解 Flink 容错机制

    场景描述:作为分布式系统,尤其是对延迟敏感的实时计算引擎,Apache Flink 需要有强大的容错机制,以确保在出现机器故障或网络分区等不可预知的问题时可以快...

    大数据真好玩
  • Flink深入浅出: 资源管理(v1.11)

    Flink在资源管理上可以分为两层:集群资源和自身资源。集群资源支持主流的资源管理系统,如yarn、mesos、k8s等,也支持独立启动的standalone集...

    用户1154259
  • flink on yarn部分源码解析 (FLIP-6 new mode)

    我们在https://www.cnblogs.com/dongxiao-yang/p/9403427.html文章里分析了flink提交single job到y...

    sanmutongzi
  • 从头分析flink源码第六篇之ExecutionGraph的生成

    上一篇中我们梳理了jobGraph提交过程中taskmanager、jobmanager、resourcemanager各组件的启动流程,本篇我们接着上一篇中的...

    开发架构二三事
  • 14.下-启动JobMaster-JM申请slot

    对照着人家的图上, 我接着看到了JobMaster启动的流程, 这其中有很多, 但我只跟着图中的申请资源的一条线看的. 对于JobGraph如何转化成execu...

    wangyk
  • Flink源码走读(一):Flink工程目录

    导语 | Flink已经成为未来流计算趋势,目前在很多大厂已经有了大规模的使用。最近在学习Flink源码,就想把自己学习的过程分享出来,希望能帮助到志同道合的朋...

    2011aad
  • www6669988com请拨18687679362_环球国际Flink源码走读(一):Flink工程目录

    导语 | Flink已经成为未来流计算趋势,目前在很多大厂已经有了大规模的使用。最近在学习Flink源码,就想把自己学习的过程分享出来,希望能帮助到志同道合的朋...

    用户7106032
  • 那个男人竟然不会Flink的CheckPoint机制

    这里已经是Flink的第三篇原创啦。第一篇《Flink入门教程》讲解了Flink的基础和相关概念,第二篇《背压原理》讲解了什么是背压,在Flink背压大概的流程...

    Java3y
  • 一文搞懂 checkpoint 全过程

    前面我们讲解了 一文搞懂 Flink 处理 Barrier 全过程 和 一文搞定 Flink Checkpoint Barrier 全流程 基本上都是跟 che...

    shengjk1
  • 【推荐系统算法实战】Flink 架构及其工作原理

    分布式系统需要解决:分配和管理在集群的计算资源、处理配合、持久和可访问的数据存储、失败恢复。Fink专注分布式流处理。

    一个会写诗的程序员
  • [源码解析] 从TimeoutException看Flink的心跳机制

    本文从一个调试时候常见的异常 "TimeoutException: Heartbeat of TaskManager timed out"切入,为大家剖析Fli...

    罗西的思考
  • 快手基于 Flink 的持续优化与实践

    摘要:本文由快手实时计算负责人董亭亭分享,主要介绍快手基于 Flink 的持续优化与实践的介绍。内容包括:

    Spark学习技巧

扫码关注云+社区

领取腾讯云代金券