00:00
那接下来呢,我们再具体到啊,就是雅安平台啊,这样一个资源管理平台的环境下,做一个flink的任务提交,大家看看这个过程又是什么样的呢?好我们看一眼啊,但是这个写呢,写的会比较简洁,我们可以看一下这个具体的步骤。首先这里边啊,有一个客户端啊,大家看在提交drop之前,我首先先要向这个雅安上面去上传flink的抓包和配置,对吧?啊,要不然的话,这个牙上如果没有对应的这个flink配置的话,那当然后面我启动对应的那些起不起来嘛啊,所以这个是前提啊啊那所以接下来真正提交的过程其实是这里。提交一个job,大家看,提交给resource manager,大家看一眼,这个resource manager是谁的resource manager呢?啊对,大家注意啊,这里提交给的是雅恩的资源管理器。因为现在我所有的资源是不是都是由雅恩负责管理啊,所以现在其实就dispatch其实就已经被被这个整合掉了,对吧?啊,相当于这个接口已经我们直接包在这个雅恩里边了啊,那所以这里边我提交是提交给雅恩的RM资源管理器,那接下来他收到这个请这个提交drop的请求之后,那接下来是不是就可以启动一个application master。
01:18
启动这个对应的job manager啊,对吧,所以这里边我先啊有这样一个note manager啊,起一个节点,然后分配这个application master,这里大家要注意的是,那我当前的这个,呃,对应的这个flink集群里边,它有flink的resource manager吗?大家注意,其实也是有的,只不过这里面省略掉了,没有直观写出来,对吧?这里面如果要详细写的话,Flink里边的resource manager它应该在哪呢?就跟这个job manager一起,都在这个application master里边。大家看就在这儿呢,对吧?啊,所以就相当于我这里面就是来了一个job,然后在这儿是不是相当于起了一个集群啊。
02:02
对吧,对应的起了一个集群,然后有对应的一个这个resource manager,然后有这个drop drop manager啊,那当然你启动这个对应的link组件的时候,都得从HDFS上加载这个对应的jar包和配置文件,对吧,你得把这个环境构建起来。那么这里边启动之后,大家会想到我是不是首先这个就是提交给了这里的这个job manager,对吧?啊,其实这个job是提交给他了。那大家想接下来怎么办?是不是就是我们前面job manager拿到这个job之后,要向resource manager去请求slot呀,对吧,只不过这里边我首先是不是还是向对自己flink的这个resource manager去请求这个lo。那只不过接下来这个怎么办,Resource manager不管这个事儿,对吧,他自己直接就把这个管理权限交给谁了,对,直接就交给雅恩的resource manager了,所以大家看这里面第四步,我就直接从这跳到上面了,对吧,直接就向雅恩的resource manager申请资源。
03:05
然后接下来怎么办呢?啊,那这里边是不是雅安的resource manager,只要雅安上面有对应的资源,我就去启动对应的notde manager,启动container,是不是要把这个task manager要提起来啊,对吧?呃,用到多少起多少嘛,然后把这个提起来之后,那task manager同样接下来是不是还是对注册slot,然后接下来resource manager知道哦,你现在有这么多slot了,是不是可以通知drop manager drop manager就可以给他分配对应的任务啊,然后就可以执行起来了,对吧?啊,所以这个过程其实就是跟后面的过程,就跟之前就完全一样了,只不过中间就涉及到了一个跟雅恩的资源管理器去做这个交互的一个过程。给大家提一个问题啊,这里边我们前面讲那个雅文模式不是有两种吗?Session模式和drop模式,这里边是session模式还是drop模式呢?
04:03
大家仔细的想一下。就是如果要是session模式的话,大家看这个标准应该是一定要先创建session。有了三审就相当于已经有了一个一个集群了,对吧,然后再去基于这个三审去提交状。而drop模式呢,是没有集群,直接提一个drop就对应着一个集群,对吧,大家看这个更更像什么呢?哎,这是一个drop模式,对吧?我这里边直接就提一个提一个drop上来,然后这里边就相当于起了一个集群,对不对啊,有对应的这个啊,这个resource manager啊,然后有这个job manager去做这个资源的管理和分配啊,这就是这个具体到雅安上边的任务提交流程。
我来说两句