00:00
好,那接下来呢,我们就配置整个的集群,首先第一部分,呃,搭建环境,这个我们已经准备好了,就不聊了,第二个规划,那首先呢,我们要配置三个result manager,以及搭建lookable已经搭建完了,以及三个name note,这是干活的节点,就不用多聊了,对吧?好,那核心问题还是一样的,那么。如果当active resource manager挂掉了,那么其他的R怎么能够上位,对吧?它利用了ZK,利用了ZK啊,呃,那还有一个问题,当前MR上有任务正在运行。啊,正在有MR任务运行,那如果说active resource面要挂掉了,其他的应该如何去接手呢?也是同样的有CK信息,呃,那么如果说我们在高可用情况下,R会将当前所有的程序的一个状态都会记录到CK里边,一旦你挂掉了,替代你工作的就会去CK当中读取,可以拿到这个任务接着运行。
01:03
接着运行类似于这样的方式对吧?好,那最后呢,我们去配置一下这个节点信息,这里面内容会比较多,我们直接拿过来给大家做一个讲解,注意在雅安杠赛里边去做一个配置,OK啊好,这个虽然多,但是并不难理解,因为我们要配置三个,所以它好多地方呢都是三份。那在眼。配置信息当中点开找到氧。杠好点开,呃,但是这是我们以前配置的一些东西,对吧,那这个呢,我们通通的都给它干掉就好了,不需要了。没拿过来,那这样的话我先还是处理一下啊,因为呃,强迫症患者大家可以见谅一下对吧,其实有时候大家写代码的时候有一点点这个强迫症,呃,倒没有什么大的问题,对吧。
02:00
好,然后呢,我们缩进一下啊,把这个这个我们聊到哪一个去缩定哪一个,首先第一个是读取数据的方式,用MR的一个杀手,这个不多不多聊了,无论你是不是高可用的,那都是这样子的,对吧?好,那接下来启用这个。Enable处对吧,这个没有什么好说的,那那么接下来呢,声明我们resource manual的地址啊,声明resource manual地址。啊,当然这个呢,并不是我们的两台啊,可能三台,可能四台,我们就把这个两台干掉啊说明那这个其实跟刚才我们IDFS那个my class的一个道理,对吧?那接下来呢,我们要在这个当中配置我们到底有哪几个作为我们的resource manager跟刚才的NA123是一个道理啊,那这里面呢,是R1 m2M3,那分别配置RM123,呃,分别到102。103 104,但是在每一个节点当中,我们要都要配三个选项,第一主机名是谁,第二外B端口号,第三内部通信的端口号到底是谁,还有在指定r me申请资源的地址到底是谁,以及name node manager,它需要跟每个端口号进行连接,所以每一个节点它都配置了五个选项,那这个时候呢,大家就知道为什么我们当前的配置信息这么长,你看102配置这五个,那103呢?同理是不是也有五个啊,这是第一个指定主机名,第二个指定外部端口号,第三个。
03:40
指定服务端口号,然后接下来是我们申请资源的端口号,和node manager连接的端口号,同理,R'M3104也是一样道理,这个呢我们就不聊了。我就做一个缩进,大家可以在我缩进的时候去看一下我们的配置信息对不对。好搞定,然后呢,我们要依赖于ZK来关注我们内容,所以呢,我们要ZK信息,哎,配置到亚克散德当中,让它主动可以连接到我们CK里边,同时启用自动恢复啊所谓自动恢复呢,就可以自动故障转移了,对吧?好,那接下来还有。
04:19
指定配置信息到我们的。Keep当中,这个就刚才我们说的,哎,如果说正active的resource measure正在跑的任务,那么你此时挂掉了另外上位的面量如何能够接着工作,对吧?我们要把这个状态存储下来,以及环境变量,当然这个呢是无论你是不是。高可用的集群都需要去配的,那这个我就不多聊了,行,那这个配置文件搞定,搞定了以后不要着急,我们还要做一个分发,102上已经配置完了,对不对,CD出来啊,或者我们直接进到OBDHA和杜甫EGC网络底下,XXYC叫雅。
05:08
啊,ABC还要进一步啊,进到里边好,那这个里边呢,就会有这个雅安杠。就刚才我们配置这个东西对吧,XXNC叫雅杠set,点查表文件走,把它分发到其他节点,那么此时呢,我们整个的就配置信息就搞定了。
我来说两句