00:00
我们现在是已经在这个web UI页面上已经做了这样的一个完整提交啊,大家看到这个提交的时候可以有各种各样的参数啊,你可以在这儿去指定对应的一些并行度,而且大家也知道了,在不同的地方都可以设并行度这个优先次序,有有这个关系,大家下来要稍微总结一下了,那呃,有些同学可能就觉得这个这种方式不是特别爽,因为如果对于我们来讲啊,作为一个资深程序员。你直接在这个一个web页面上去点点点,这个看起来有点不够高大上,体现不出我们的技术技术价值,我就喜欢怎么样呢?在打开一个这样一个控制台页面,对吧,打开一个这个办事窗口,一个大黑屏或者一个大白屏,然后噼里啪啦一动,敲敲命令,然后直接一个drop就提交上去了,啊我就觉得这样的方式特别的好。那大家会想一下,我能不能用这个命令直接提交job呢?没问题啊,这个肯定是可以的,对吧?啊,那这里边就要用到我们刚才给大家提过的,对这个并下边是不是有一个flink命令啊,提交drop的时候呢,Flink后边要跟一个参数wrong flink run运行,然后后边接下来给对应的参数,大家想一下,我们当前不是有那个入口类吗?呃,入口类这里的参数是杠C。
01:21
Class对吧,然后把这个放在这儿,然后后边还有这个并行度啊,并行度的话是杠P给到这。哦,然后接下来,呃,我这里可以直接给一个比方说,我给这个并行度稍微大一点,对吧,我给一个杠P3,大家还记得之前我们给那个三个并行度对吧?好,然后接下来,呃,这里边后边是不是还应该指定它对应的那个参数啊,这个大家注意一下啊,指定参数之前,我应该先把那个对应的抓包。先告诉我当前这个命令抓包在哪对吧,你先把抓包先传给他,然后在后边再指定命令啊,所以接下来我其实是要找那个对应的那个目录啊,啊,那就是当前应该在。
02:07
呃,Project projects big data对吧?Flink tutorial target下边有一个flink这个抓包,我先把它先放在这儿,然后后边就是g g host local host。啊,然后local host杠杠PORT7777,把我的参数写上去,大家看是不是就是这样啊,对吧,这个过程其实整体来讲还是比较简单的啊,跟我们刚才的那个呃,过程是一样的啊。大家看这里面写了一句job has been submitted with job ID对吧,这就提交上去了,然后如果你想查看的话啊,其实在这。大家看这个running job现在是不是多了一个呀,对吧,当前这个大家看有几个task。有七个task,为什么有七个呢?因为我当前并行度是不是设三啊,所以大家看这个三是不是就变成了前面这两个也拆开了对吧?大家看这里边写了一个re balanceance啊,重新平衡啊re balance,然后呃,它前面这个拆开了,这是一个,这是三个对吧?然后后边同样这个并行度是我们代码里面设置的这个,这个优先级高对吧,你在外边设的那个三并不会影响到这里,所以后边这是二,这是一,所以总共加起来是不是七个任务啊好,那七个任务大家会想到七个任务需要几个对应的这个slot呢?
03:31
啊,大家看这里边一直在转圈圈不够对吧,因为之前我是不是已经大家看这里边是不是已经占用了两个啊,剩下的只有两个了,所以接下来如果说哎,我再去呃,就是需要的,如果超过两个的话,那我就只能是转圈圈了,对吧,这里边就就直接分配不到了,好,那所以大家就会想到这里面显然是这个两个是不够的嘛,那如果说我想要去做这样的一个气,就是给他释放资源啊,想把之前那个清掉,那怎么办呢。
04:07
想把之前那个取消掉啊,那就说cano嘛,在这点嘛,我现在想要在这个命令行里边啊,就是不想在那个上面点点点对吧,那这怎么办呢?哎,那有有同学说,那你这个你看这不是启动起来了吗?你直接CTRLC不就完了吗。诶,CTRLC出来对吧?哎,但是大家注意这个启动,这是刚才我们提交的这个drop对吧,另外就是说这里是不是只是做一个提交操作啊,我这里CTRLC能能控制了那边取消吗?根本不能,我已经提交到集群上了,你看我这里CTRLC之后,这里边是不是该怎么样还是怎么样啊对吧,还是在这儿运行着呢,那问题就来了,接下来怎么弄它呢?呃,其实也简单,这个就是我去看一下当前,呃,就是这里边如果要cancel的话,怎么cancel呢?直接用flink cancel,然后注意后边还要跟上当前的job ID,对,那大家可能会想,那我怎么知道之前那个job ID是啥呢?我刚提交的这个我还能看到对吧?那之前那个又又是啥呢?对,这里边用flink list。
05:14
就是来把当前所有的这个job就是给给列举出来,对吧,那我们前面最初提交的这个是不是应该是前面这个啊,对吧?啊77442这个东西啊,我可以把它做一个做一个复制,然后接下来b flink cancel把这个job ID放在这。把它取消掉,然后大家看这个这个drop就取消掉了,对吧,然后如果我现在再立死的话。是不是就只有只有一个了,对吧,就只有当前这一个job正在运行了,然后另外就是说,如果说我想看到当前被取消的,那怎么办呢?加个A嘛,杠A。就是相当于其实大家想到那个web UI,是不是相当于也是调用底层这些命令就可以获取到我们当前的状态啊,其实也就是这些东西对吧,你看就是当前正在运行的有这一个,另外已经被取消掉的有一个,对吧,对应的那个ID都可以看得到。
06:11
啊啊,那所以接下来看这是不是就只剩下一个了啊,所以这这其实整个的这个运行过程就是这样,而且大家看到现在呢,是不是变running了,现在他他是不是资源分配到了,分配到了,所以就哎终于等到了是吧?哎,终于等到这个柳暗花明了啊所以接下来它就变成变绿了,变成running了,那我们再回去看一眼,它到底占据了几个slo呢?大家看它占据了三个,所以大家能有感觉吗?它应该占据几个?知道诶对,其实大家已经看到了,好像是跟这里边最大的那个并行度有关,对不对,哎,好像最大的那个就是它占据的那个数量,所以我们可以大概的先有一个这样一个基本认识啊。
我来说两句