00:00
啊对,我们的整个的ha啊,它讲的是HDFS的ha以及雅安的ha啊,雅安的雅安那学了那雅同样的,它官方文档是这个啊,你可从这直接进来,或者说这这就是刚才那个文档在哪呢?看好它肯定是雅安底下的对吧?啊雅安底下的在这resource manager的ha吧。你一点之后就能进到这个页面,我就不重新点了,因为加载太慢,所以我提前已经进来了,点进来你看这个目录就是这个目录了,然后是那个哈杜到雅安赛resource manager htm法啊,就是这个文档,我们对着这个来说啊。其实雅安那个ha啊,它跟那个HDS的其实一样,而且它更好一点是吧,它有整个的架构图,你像SDFS在整个里面都找不到一张图是吧,啊图都是自己要自己画,它其实也是依赖于足K吧。
01:15
依赖于从K的实时的去监控两个resource manager的一个状态,它就没有那个什么ZK加C之类的东西了,它就直接依赖于。UK的啊,它就是让UK去监控了HD是不是用ZKFC去监控,监控了之后去跟UKZK去通信的,然后通过ZK去通知另外一台啊,通知另外一个ZKC,但是雅安呢,它就比较纯粹啊,它就是这样的,有两个,一个active的,一个stand bed啊,然后它都需要跟这个。K集群啊,去交互的啊,交互的啊,具体的我们就去配一下,然后它也是自动的一个故障转移啊,啊自动的故障转移,我们找到它所需要的一个配置文件啊,这里边主要的。
02:08
一些什么地址是吧?啊,然后它的一个配置文件你要怎么配,当然底下有详细的一个内容。简单的一个配置,为了那个R'M的一个故障转移,Resource的故障转移,你看一下啊,到时略一下,然后第一个配置文件说的是什么,开启了啊,开启它自动故障转移,然后呢,它也是配置了一个对外暴露的一个集群嘛,哎,你不能这个时候说是哈103哈104作为s manager那客户端就很多废是吧,所以说你对外包装的是统一的,然后你搞两个吧。R1RM2,那RM1配的是哪台节点,RM2是哪台节点,然后它的一个通信端口。
03:00
是哪个了,然后哎,你的ZZK集群是哪个啊,所以说这些配置文件就讲完了,HDFS的高手有以后现在看这些东西就。很轻松了,对吧?啊,就是这些东西,那我们你把这个摘过来是不是还要改啊,改很多,那我就不从这摘了,我从这拿一下可以吧,啊,是一样的啊,只不过这地方已经配好了。是亚赛道里边的看一下。雅安赛他没有写吗?雅安T还是塞尔是吧,属于雅安赛里边的,OK,那我们把这个粘过来,102,然后是雅安赛等在最后是吧,还有沙错,我们留着吧,啊我们留着,因为你要指定它获取,就是获取数据的一个方式啊,这个东西要留,其实你再配高可用,就是单独我们学习高可用个程的时候,你把这个干掉也无所谓。
04:08
因为我们后面不用这个跑任务了,对吧,你用默认的什么本地的,或者说他这个都一样,因为你不跑任务啊就没问题,但是正常你要公司当中去做的话,这个东西得留着吧,然后这个日志聚集得留着吧,但是你要把这个替代掉吧,这个之前我们单独的配了一个,现在不一样了吧,对外的要两个吧,那我们把这个替代一下就OK了,但是你要注意我刚才复制的这个,把这两个标签复制进来了吧,那把这两个标签给改掉,上面还有一个是吧,在这你要注意一下就OK了。多了一个是吧。喂,呃,启用他的一个自动故障软因,然后卡的一,然后M1M2 M1在102 m2在103,然后ZK的一个集群102103104后面是。
05:11
他的一个故障转移所要的一个集群,这个是一个代理类,就跟我们之前是不是作为什么。HDFS是不是也有一个什么代理类啊,对吧?哎,肯定是一样的,后面这个是我们自己家的一个日志,具体功能。狙击功能就这些内容,你直接背完了之后要干点什么事?分发吧啊,一定要分发啊,XS弯线好,然后我们直接分发哈,多宝箱的HD是色的对吧,颜色的我们分发这一个文件就够了,因为我们现在修改的只有这一个文件,等一下发完了,发完之后来起一下我们那个什么。雅安嘛啊,其甲胺这个时候我们102跟幺零三都是。
06:05
Resource manager吧,那此时你的那个,如果你要用群体脚本的话,那你在102103是不是都可以啊都可以的,那我们在102执行一下。雅安应该是大的雅安嘛,我们用群起到雅安点一下。注意看啊看这款他报了一个日志,虽然你用的是群体脚本。但是它只起了什么当前节点呢?Resource,哎,这就是HDFS跟雅安它两个群体脚本的不同点。不同点,HDFS是不是你start-DFS在102 103 104起都一样啊,因为我们可以看到启动的时候HDFS它是什么二。
07:06
还有印象吗?就是studying name notde 2102,然后2103是不是这样的啊,就可以看出来它是远程登录到102和103去起的,但是呢,Resource manager,也就是雅安这个脚本啊,群体脚本它不是这样写的。啊,它是直接就在本地起一个resource manager,然后去循环遍历。Slaves循环manage slaves,然后启not manager啊启not manager是这样的,所以你现在配了两个resource manager,你还要干一个什么事,去103单独的起一下resource manager吧,好,那我们先看一下啊,这个。102,这个起不起来是吧,哈多102,然后。这中文的是吧,英文,然后是808走一下他能起来对吧?啊能起来的,那你现在103你不用看,肯定没有是吧,那我们起一下103的。
08:15
然后应该是雅安吧,雅安来吧,单独起一个resource measure。稍沉一点,走一下。前面看一眼这个地方也有了吧,但是我们来看一下好多103。他也是有的,他也是有的,102103,这个是102是吧,但是你看我不是说的103嘛,他102,哎,因为102是active的,这个时候我们把102干掉。
09:01
然后在哪儿,你说幺吧,你再看一眼说已经没有了,对吧。这个应该会自动跳到103的。103挂了是吗?哦,他对外提供服务,应该要把这个图起起来。就是雅安点大的。R CE ma。骑起来之后。它会跳转到103,所以这个就没有HDFS有用了,是吧,因为他就是必须要保证两个都能起来,但是他对于客户来说,你无论访问哪个都可以102103,它都能连接到具体的地址吗。
10:07
但是一旦挂了之后,你去访问就不行了,因为进程没了。啊,所以说他这个雅安的一个高铁用啊,还比不上那个HDFS,对于客户来说啊,客户端来说更友好一些吧,HDFS是你根本感觉不到的是吧,根本感觉不到的,但是雅安它就不一样,雅安不一样。然后不一样,好,这是它的一个高用,这个时候你访问102,它也会调整到1032,也就是说你一定要保证两个你resource班都能起来的情况下才可以,如果说你挂掉了一个之后。然后12468是吧。看九。那这个时候你从102是跳转过去的,但是你要单独访问103是没有问题的啊,这是没有问题的,这是没有问题的啊,单独访问103是没有问题的,也就是说它对于用户来说啊,体验稍差一些。
11:17
稍差一些,那这个时候你要真要去用的话,雅安的话,你需要做一个判断吗?如果说你真的代码里边要连接resource manager去提交的话。你要做个判断,就是你获取一下当前的状态吧,哎,哪个是active的提交给谁这脑的,你想想看,你们那个Java或者说XL是你提交的吗?基金内部自己提交的吧,所以说他这一点对于用户的体验较差呀,稍微差一点也还好。因为雅安是负责任务调度的,你客户端其实跟他这个交互来说还是比较少的啊,直接交互的还是比较少的,除非就是这个网页的访问。
12:04
那网页的访问,因为这个进程没有了,那他肯定是访问不到的,这也是很正常的,对吧,但内部他在提交的时候,他是能提交上去的,是这样的。能明白中间的关系吧,因为他是负责任务调度的,资源,资源分配的。那到时候任务提交给提交给谁啊,你想想看。你提交的是提交给102吗?是提交给103吗?都不是吧,是提交给他吧,对吧?克拉斯雅一对吧?那提他给他,他知不知道谁活着的呀?他知道吧,他肯定知道谁是active的呀,对吧,但具体的最终他就交给他就OK了啊,但是你页面访问的时候,因为这个进程都没了,那你直接访问这个端口的话,肯定是访问到的,能访问到都很奇怪了,能跳过去有进程,它自己是stand back,他自己不是active,他才给你去跳转一下吧,你们进程帮你操作这个事情呢,但进程都不在了,谁帮你完成这个事情呢?
13:14
所以说页面访问不到是很正常的,但是页面访问不到不影响他的一个正常工作了,因为你真正的任务提交是提交给class,这个叫什么雅安class是吧,Class雅安是提交给这个东西的。啊,就跟我们SDF上传文件一样,你直接写根号是没有问题的,因为你客户端不需要知道你这个根号对的是102还是103啊,你是不需要知道的,也就像你提交任务的时候,你客户端是不需要知道102是活着的,是activity的还是103是I,你只需要提交给雅安的一个集群就OK了。啊,这能理解吧,其实这个一样,你既然挂掉了,你这个页面还能访问吗?也不能访问的吧,也不能访问的是一样啊一样。
14:04
OK,那后面这是配置文件,然后这个地方要注意一下啊,提前说一下启动还是DFS,你这个时候不用启动了吧,我们启过了是吧?这个你一定要注意啊,这是第一次启动的时候做这个事啊,先起这争洞的,然后格式化,然后去获取原数据,你后面就是今晚上你你只把机器关了,我现在把它关了,我再开的话,我还需要做这些事吗?不用了,你直接start DFS就够了,懂我的意思吧?哎,这个启动指的是第一次啊,你不要看着这个文档,这写了启动,然后你操作一遍,你操作一遍之后,你这文件夹有没删掉是吧?最后两个IP又不一样了,它整个机器又起不来了,你还得删,你还又得做一下这个,这是格式化过程嘛,仅在第一次启动的时候,你以后正常关机,还没有出现其他问题的时候,你直接去启动就OK了,启动就OK了。
15:03
啊,之后你去启动一下延,然后这后面的啊,具体的页面大家看了,如果两个都是活着的,它自己可以给你跳过去是吧,自己给你跳过去让。
我来说两句