00:00
关于在flink集群上面去提交job,提交作业啊,呃,前面我们还有一点没有讲,那就是大家可能会发现,呃,我们前面给大家做的这个提交操作呢,其实都是基于当前的这个web页面的,对吧?你直接在这里边把这个传上去,然后点开,然后去配置这些,然后点submit,呃,这个方便是方便,而且这个可视化样子也也也做的很好,对吧,也很舒服,这个是没什么问题,但假如说我就觉得这个东西不能体现一个程序员的一个基本素养,对吧,我就觉得作为一个大神级的程序员,一定是打开一个这个命令行界面,要不一个大黑屏,要不一个大白屏,然后就是噼里啪啦在上面敲代码,对吧?啊,然后我如果要是说。一敲代码,一行命令,直接就能把一个job提交上去,那这个其实才是我要的这种状态,那可不可以做到呢?啊,当然是可以做到的啊啊,当然这个我们提交的话,NC还是需要有的,所以我先把另外起一个吧,对吧,我们另外打开一个。
01:09
打打打开一个另外的窗口,我把这个NC7777这个先提起来,然后接下来我们看一看直接用命令行怎么样去做提交,那同样我还是在这里边用什么命令去提交呢?这就提到了前面给大家讲到的。Flink这个命令大家还记得吧,有这么一个命令对吧?它后面没有任何的后缀,就叫flink,所以这其实是提交作业,包括呃,查看和这个取消,呃,所有的操作其实用它都可以做啊,那这里边我们直接怎么样提交呢?Flink之状啊,在这里面直接flink状,然后呢。注意后面我们这个提交的时候,大家还记得吧,你不是要指定当前的入口类吗?现在是一样的啊,那所以我们既然要指定入口类,那就得有参数,参数就是杠C,然后后边指定入口类,我把它copy过来。
02:03
然后再后边,那就是大家知道就是可以有这个并行度的指定对不对,这里边呃,Parallelism,这里边可以指定那这个并行度的杠P对吧?呃,这里边我就不要再给二了,大家知道给二的话肯定这里边呃,资源不够嘛,肯定最后还是绕圈啊呃,那在接下来啊,或者说我可以直接给一个二,大家就看看效果,我把它取消了不就完了吗?这个也是可以的,然后接下来那就要跟上我当前的那个抓包,你想去run的那个抓包到底在哪对吧?哎,这里边我就得去指定一下当前的这个抓包的目录,或者说我直接放在当前要提交的这个目录下边指定也可以啊,我现在直接把这个写过来吧,我们当前这个叫fli tutor real target对吧?啊,然后下边有一个叫做啊draw with depends这个抓把它拿过来,然后后边再跟上想要的参数。Local host,然后PORT7777直接这么提交就可以。
03:05
啊,所以大家看,其实这个你要去做这个提交操作其实也还是比较简单的啊,啊,那那这里大家看我我这么一提交的话,这个好像也看不到什么效果啊,对吧,这个提交的结果是什么样的呢?哎,你如果要是想要去看的话,可以到这里。就是到我们当前的这个。这个集群啊,还是在这个,呃,当前的这个页面,网页的页面里边来看,诶,你看现在是不是又多了一个。大家还记得当前我们这个是呃,并行度是二对吧,所以一共有六个task啊,所以就都放在这儿了,又开始转圈了,你在那边提交的啊,我们这里边就看到了,因为它都是同一个集群嘛,只要能监控到当然能看到啊,那有的同学可能想,那现在我要把它取消掉,因为那个一直在转圈,资源不够,那怎么办呢?啊,那这里边有同学可能想,哎,那你这这里边我直接直接把这个CTRLC直接退出来不就完了吗?
04:04
诶,大家会想到没那么简单对吧,因为这里边我们提交的话,相当于只是一个客户端,你这里边客户端把这个提交的命令,如果要是把它终止的话,这里面已经提上去了,你跟这儿有关系吗?肯定没关系,对不对?你看这个complete里边啊,这这是我们之前已经挂了的那个,对吧,已经超时的那个,这里边我们刚提上来,这个大家看50多秒钟还在这儿运行的好好的呢,根本没有取消掉,还在这转圈呢。那如果我们想在命令行里边把它取消,怎么样取消呢?哎,当然我们可以在这里边点这个对吧?哎,我就不想嘛,我就想在命令行里面做,那同样还是我直接用并下边的flink命令啊,那大家会想到可以用什么呢?用一个cancel命令,但是cancel命令这里边需要加一个什么,你总得指定我要取消哪个呀,万一我们集群上面现在运行着好几个,你这1CANCEL全取消了,这显然不合适。所以后边它必须要加上一个所谓的job ID,你要停止哪个就把那个ID放在后边,什么叫job ID呢?前面你看我们这个CTRLC退出的时候,这里面有一句提示,对吧?Job has been submitted with job ID,这就是我们提交的这个job ID。
05:17
或者说你在当前的这个里边也可以看到他的ID,对吧,这都是非常明显的啊,但是大家会想,那我就是一方面是不想到这个页面上去看,另外一方面呢,那假如说前面我这个提交完了之后,我就关了当前的这个窗口了,我就忘了他ID是什么了,那怎么办呢。也不要着急,可以list去查看一下当前已有的所有的这个job正在运行的job到底是啥。哎,那那这里边正在运行的不就这一个吗?对吧,而且有我们给的那个名stream work count,大家还记得这是什么吗?这不就是我们这里面给的这个任务的名称吗?啊,所以在这里边就一目了然,我要想去把它做一个停止的话啊,那就直接flink cancel,然后再加上当前的这个job ID。
06:08
把它停掉就可以了。啊,然后你看这里边我们cancel领直接把它cancel掉对吧,然后你如果再要去历史的话,就看不到当前的这一个,就之前我们提交的这一个了,然后如果你想看到所有的怎么办呢?已经运行完的和失败的怎么看呢?加一个杠A嘛,这非常简单对吧?呃,大家能想到就是关于这个页面上,这里边给我们显示的这些东西,它其实底层也应该就是这些命令,对吧?啊,所以现在你看这个就不是fail了,这是一个cancel掉的一个状态,然后上面这个是一个finish的一个状。啊,所以这里边我们看到它这里边会把它的状态都列举在这里,所有已经停止的job都会显示在这。这就是关于这个命令行提交的一个过程,然后最后假如说哎,我们这些该做的事情都做完了啊,最后我想把这个flink集群要停掉,诶那怎么停呢?这也非常简单,是不是有有启动就有停止对吧?之前我们在病下面不是有一个start cluster吗?那现在当然就有stop cluster,诶所以直接去敲这个stop cluster,把当前的集群停掉就完事,然后接下来我们在GPS看一下什么都没了,对吧?啊,当前你如果访问这个页面,当然也就访问不到了啊,这就是关于这个flink集群里边和提交部署和提交job的操作。
我来说两句