00:00
前面我们已经介绍了,怎么样去本地启动一个单节点的flink集群啊,其实非常简单,不用改任何的配置文件啊,那当然了,前面我们能启就能停,之前我们启动的时候使用的命令是并目录下边的start cster,那现在要停的话,当然对应的就是stop class,诶,这样的话我们就可以直接把它停掉了,停掉之后,接下来我们再来刷新当前的8081,哎,那当然就无法访问了,这个就是很简单的一个启动和停止的过程,那我们自然会想到了这个单节点只能是平常做测试,那实际要部署的话,很显然我们还是想要把它部署成集群的嘛,那如果说想要变成一个集群,扩展成集群怎么办呢?比如说现在我们就使用102、103、1043个节点来进行一个集群的扩展。其实整体来讲啊,我们当前启动的命令还是不变的,还是start cluster啊,那另外呢,就是我们对应的配置,那还是该怎么配怎么配就可以了,所以这里面的配置项呢,关键点就在于配置当前的主从关系,也就是要指定谁是job manager,谁是task manager,或者说当前谁是master,谁是worker。
01:17
这里我们可以在文档里边先直观的把它列出来,我们当前的角色分配呢啊,那就是102是job manager,然后103和104是干活的人,是task manager。所以接下来呢,我们所要。进行的操作,那就是更改配置文件了。所以我们直接进入到当前哈度102下边的com flink com点压母这个配置文件里边来,我们要改的是谁呢?首先我们当然是要改job manager了。因为本身这里边如果直接指定是local host的话,那当然不能每台机器都指定自己是当前的job manager,我们要把它直接定义成哈杜102。
02:02
所以在这里做一个更改哈,杜102。然后接下来更加关键的一点是我们要去修改masters文件和workers文件,哎,那所以这里边我们问一下。com下边的master。把当前的同样local host要改成。哈杜102。那另外我们需要把当前的work配置文件,那就不能是localho了,我们需要把它定义成哈杜103以及哈杜OP104,这样的话,我们就完成了当前整个集群所有角色的分配。当然了,在flink com.yamo这个配置文件里边,还有其他的一些配置项,我们都可以去做更改,我们现在呢,啊,简单起见先不改,我们先来测试一下,看看这样到底能不能启动,如果我们现在直接去起的话,肯定是不行的,因为我们现在呢,是让他们三个要配合起来构建一个F集群,那现在103和104上面根本连flink的安装包都没有,那怎么能够起得起弗link相关的组件呢?诶,那作为task manager它是起不起来的嘛。所以接下来我们还要做一件事儿,就是要分发当前的link安装目录啊,也就是说我们得把当前哈杜普102上的这一个目录全部分发到103和104上去。
03:29
那具体的操作呢,其实也非常简单啊,为了方便复制,我们可以退到上一级目录下面上面去啊,到Mo这个目录下边来,然后接下来呢,诶,我们直接用一个SCP命令加上杠R参数递归的把下边所有的子目录都复制过去啊,接下来要用的当然就是。Flink-01:13点零这个目录,完整的把它copy到就copy到root,以root用户做一个copy就可以了,直接copy到哈杜103它的OPT。
04:03
Modu目录下边,哎,所以这个其实还是非常简单的啊,哎,那当然了,我们这里需要去输入含5103的一个密码。很快就已经复制完毕,同样我们需要把对应的目录也分发到哈度比104下面去。我们做一个分发。好,现在就已经处理完了,那分发完毕之后,那接下来就可以直接去启动集群了,先进入到flink-01:13点零里面去,然后那我们还是直接去调用并目录下边的start c就可以了。直接启动。当然了,这里因为我们是使用root身份去做了一个启动啊,那这里我们还要输入对应的root密码,那如果说我们使用的是普通用户的话,那可能就避免了这样一个步骤,好,现在都已经集起来了,接下来我们GPS一下,现在可以看到当前在哈杜102上呢,就不再有之前的。
05:10
Task manager runner那样一个,哎,Worker节点的对应的进程了,只有一个。Cluster entry point,当前集群绘画集群的一个入口点,那对应的卡图比103。除了呃哈多相关的一些组件之外,另外这里就多了一个task managerner。说明当前。103是一个worker,那同样对应的104这里我们也可以来看一眼,同样它也是一个task manager装,所以我们当前这个集群就已经起起来了。那同样呢,我们可以到当前转,也就是102对应的8081端口上面打开一个web UI看一看,诶,当前的集群到底是什么样子,诶我们看现在又已经有这个样子了啊,刷新一下当前的overview,我们可以看到当前可用的任务槽数量是两个,因为我们当前103104有两个task manager,而且每一个task manager配置的默认是有一个任务槽,哎,那所以当然当然就是两个了。
06:16
所以呃,对应的task manager啊,我们看现在就可以看到有两个,一个它MANAGER103,一个104,那照manager呢,这里当然就只有一个102哈,都是102,这是job manager,那这就是我们当前整个集群的一个配置啊,那当然了,对于当前的这个集群,如果说我们想要停掉的话,那还是完全一样,那就是并下边stop cster。直接停掉就可以了。这就是关于集群启动的一个过程。
我来说两句