00:00
接下来我们来给大家配置一下咱们所谓的高可用,那么高可用呢,是因为当前集群当中的master节点啊只有一个,那么所以啊,它会存在那个单点故障问题,所以为了解决这种单点故障问题呢,我们需要在集群当中配置什么多个master节点,那么一旦处于活动状态的master发生故障的时候,那么由我们做备用的那个master就会提供服务,保证作业是可以继续执行的啊。那么这里的高可用呢,一般采用主keepper来设置啊,这个是没问题的,一般的高可用都是用主per啊,那么所以呢,我们现在集群规划当中,我们有三台机器,那么其中LINUX1和LINUX2,他们里面有两个master,然后呢有三个主keeper和我们的三个worker啊,那我事先呢,先把咱们的这个来,我们先启动一下,咱们叫做主keepper,先把主keepper给他启动好,好启动好之后他说了停止集群,然后启动主keepper,这个我们刚刚做了,然后接下来修改。
01:00
Spark env,这个Spark env啊,咱们之前配置的是一个单独的master,现在不行了啊,我们要去给它改一改了,所以呢,我们回过头来叫env在这打开。嗯,打开以后看看它是怎么说的啊,它的这个地方是这样的,把这个注掉,把这个什么Linux c啊,7077给它注掉,所以来把这个注掉,把它注掉,注掉以后再往下,他说了我们要增加如下的配置,这个呢,我们就来拷贝一下啊,来拷贝。拷贝以后往这边放这个历史服务呢,可以保留,也可以不要啊,咱们下放好了,大家可以看到这个地方有一个叫web UI的端口号叫8989,这是因为主啊,在他的服务当中可能会占用8080,所以我们担心有冲突,所以把这个端口号改成了叫8989,然后呢,下面的这个地方呢,是我们的主kper啊,然后呢,它的三台机器,LINUX1 linux2和那个叫LINUX3,咱们保留好继续往下。往下以后,他说了分发配置文件,好回过头来,咱们在这里呢,给他分发一下啊,咱们来,呃,我们叫做嗯分发,咱们叫做康复,诶好,分发完成以后,按它的要求,我们要启动集群了,所以我们写上啊咱们来咱们叫做start all诶给它启动,启动完成以后,你要记住,现在我们的默认启动啊,其实就是一个MASTER3个worker是这样的啊,然后呢,我们这个地方呢,可以去看一看它当前的这个操作,所以呢,我们这里打开,打开以后呢,咱们这里来啊点一下呃,这里有看看啊,咱们来拿过来拷贝,拷贝以后放到这里,我们这个应该是我们的8989回车,因为我们刚才已经把那个端口号改了,所以这边应该是8989啊,然后呢,它处于alive啊活动的这么一个状态,然后有三个我们的,诶是这样的啊,好,那么我们现在继续啊,同学们,我们要启动LINUX2单独的master节点啊,那么我。
02:59
他要启动的话,我得找到我们的第二台机器。
03:03
找到第二台机器的情况下,那么这个时候呢,我们的这个叫咱们叫做CD,然后呢,OT,然后我们的module,好,然后呢,我们的Spark,诶,OK,然后我们叫做单独的master,诶,咱们start master OK,单独启动master,记住这个时候咱们的master启动了,那么我们的备用的这个节点也就有了,所以拷贝拷贝以后打开,打开以后改成我们叫做二回车,回车以后大家会发现当前我们也启动了一个master,但是它的状态是什么?叫standby。啊,做一个准备工作,对不对,诶就是这样好,那么现在呢,我们给大家演示一下,首先你现在配置了高可用以后,你的master环境稍微的就有一些变化了,所以我们拷贝,拷贝以后我们拿过来放到这边,然后这边有个叫LINUX17077 linux2707,所以把这个拷贝啊。
04:04
拷贝以后在我们的这个地方给它来啊,我们复制一下好了,然后回车,回车以后,因为你启动了我们高可用的话,那么在执行过程当中,它可以连接我们当前的集群,没有任何的问题啊。好,看一看,这个肯定是能够正常执行的啊,因为我们这个地方它是两台机器嘛,就是你拿两哪一台其实都是可以的,好了,大家看已经成功的执行了,这个派也就求出来了啊好,那么我们回过头来,咱们接着看他说了停止LINUX1的master资源监控进程,这什么意思呢?你有两台,我现在模拟啊,有一台down掉了,比方说那个master,诶,它的里面我们打开,打开以后啊,咱们来看一看,咱们叫做GPS,嗯,好,其中里面有一个master,我要把它给它掉,所以Q。然后杠九,我们叫110269对吧,诶回车回车以后记住了,同学们,这个时候咱们的master就当掉了吧,那么你master down掉的话,这边就肯肯定访问不了了吧,诶但是你过段时间呢,我们的这个master它就会上位,它就会起作用,对不对,应该是这个效果啊,来我们刷新一下试一试,记住这个master已经荡掉了,我们刷新。
05:22
刷新以后你应该是连不上任何的内容,对不对,应该是这样子的啊,但是呢,我们说了你的这个之前的standby它会通过主判断出来哦,咱们之前的那个主节点已经掉了,那么现在该我来了,所以刷新刷新以后大家看一下是不是alive啊,然后下面是不是有三个worker啊,诶,他可以继续来提供服务,这个就没有问题了啊,这个呢,就是我们所谓的什么高可用操作啊。
我来说两句