00:00
那我们接下来不要讲咱们一个高可用具体的一个安装了,是吧,在安装之前啊,因为大家的那个还如果不是我带的,所以我需要跟大家对一下那个哈的一个配置o p model,然后这个现在装的是,诶这里面有个车了吗?我看一下我那我把这个删掉。这三个大家是有的是吧,这三个三个是一样的,一个哈杜,一个是JDK,一个是K网。咱们需要对一下这个哈的一个配置,配置,你们用那个远程连接工具吗。用了是吧,那就不用多说了是吧,他给我配置的时候配置断掉。几个文件八个吗?四个七个,七个不是六个也有是吧,到到底。
01:06
八个八个说八个的加了,说七个没加对吧。OK,呃,哈度啊,然后EDC是吧哈,你下然后几个EV我们就不看了啊,都是配一个招送对吧,都是一样的,OK,主要是扩散的,扩散的,然后还有。还了还了跟的。最后然后还有一个,而且他默认的文件名是有个time的吧,还是需要你自己改的对吧。忘了。这四个,然后也不用看了吧,就一样了,扩里边主要配的这么两个东西。
02:09
一个上的地址,还有一个是他的一个工作目录吧,工作目录OK,这个时候一样的好,还是D的。呃,我建议大家也改一下啊,改成一啊,因为咱们的数据说实话没有那么重要,你搞三份机器很累啊,省一点存储空间,大家现在都是50个G吗?必须要50啊,因为到汉我那个项目的时候,你不用50的话,你可能集群就起不来了,你需要让你加磁盘。你数据量大了之后,它存储空间不够了呀,所以刚开始是50G挺好的,然后还了一个是三个能不弄吧,三能OK,好,然后雅安赛里边我们配的是获取数据的方式,通过然后resource manager。
03:04
这个日志聚集功能大家是不是没配啊,没配的对吧,但是讲过讲过对吧,但是在搭集群的时候没配啊,我建议大家是要把这个配上的,因为你后面跑任何项目的时候,你都是要把这个配上。因为你自己出错了之后,你没办法找。他控制台打印出来的一些日志啊,是很有限的啊,是很有限的。所以你必须要去哪啊?8088那个端口点进去吧,点进去之后它是不是有相应的logo日志,这个logo日志一点它跳转到什么。历史服务器上面的是不是历史服务器上的,所以说你要把这个日志,日志具体功能配一下,然后同时还要既然配了这个日志具体功能还要配什么。历史服务器啊,对吧,历史服务器要看下,历史服务器是在里面配的。
04:03
我应该比大家多的就是这四个配置问题吧,就是这两个配置信息,以及这两个其他的跟大家都一样,对吧,这里边是指定MR在哪个上面运行,它有本地有雅安啊等等。啊,这都是一样的,所以说大家建议建议大家把这个东西到时候背一下。你也不用去重新格式化集群是吧,你把它配一下之后,把那个这黑起一下就OK了,起一下就够了。啊,不用做其他的额外的操作,额外的操作,然后这是我们所讲的这个配置信息啊,大家了解一下就OK了,其实跟大家都差不多,只是多了一个。日志啊日志剧集OK。然后我们具体的啊,配我们那个ha,那配置ha之前啊。我们就不在这个集群上去改了。啊,我们弄一套新的集群啊,新的集群来配好吧,那make Di一个ha啊,专门建一个文件夹叫ha,然后CP-R。
05:12
把这个哈杜拷到这个ta文件夹里,弄一个新的啊,弄个新的就不要在原来上改了,因为后面我们现在所搭的这个集群呢,后面是都要用的,其他的任何一个框架都离不开咱们一个哈集群,哈集群,所以呢,你就不要在这个动了,你动了以后呢,要不然你以后就用ha了,要不然你以后不用ha的话,你要重新搭一个这个集群啊,没必要,那你就今天重新搭一个这个ha的机器就够了,就够了,OK。拷问一下,那我这个103104可能也是有。他没有是没有那个的文件夹。有没有,那就那就OK了,好,那CD到ha里边看一眼啊,现在已经有了,但是此时这个哈多的一个所有的配置都是跟之前我们刚才所看到的内容完全一样法完全一样。
06:11
接下来就配我们的一个具体的给。那所有的学习都离不开文档,我们看文档,官方文档。然后是一个背景说在2.0之前啊内么no是有这个单点故障的吧,啊在HD机型当中是有单点故障的,所以我们才要用这个II继续往下看它的一个这是什么硬件资源对吧,要有。那的,而且你看一下S吧,S肯定要两个啊,至少是两个是吧,这两个那。启动一个active和stand bed那么弄的来保证它的一个机群的一个正常运行啊,机群正常运行OK,还需要节点是什么?
07:11
真诺的,而且它也是一个什么S,他的一个工作也符合那个皮卡索斯协议,皮卡索斯协议大家学过了对吧,怎么没昨天才学的呀,昨天从K他这个选举机制不是半数机制皮卡吗?不是那个半数机制看一下这皮卡手斯应该。没提到吗?是你们自己没看到啊,提提到中文选举机制,其他所思啊,这不写着了吗?皮卡手啊,他也满足你看他。
08:02
它要节点数是至少要三台吧,哎,至少要三台,而且是奇数啊,357,哎,它也是符合那种工作机制的,要半数及半数以上,所以奇数台就OK了,奇数台你看它必须保证N减一除以二台才能正常工作了,那我们集群正好是三台,那我们知道我们到时候配这个正能录的时候配几台啊。就三台吧,因为他至少三台,而且是基数,那你就配三台吧,三台好,具体的他这边是什么。配置细节吧,啊配置细节OK说如果你要配这个高考用啊,你就要配这些内容。这个是哪个文件里面找一下的吧,S,那我们打开这个SDY3的。
09:04
这个时候你在连的时候就不要打开错了吗?他102往外整,往上一层找。点到HHA里边吧,啊,你不要对原来的刚才那个内容进行修改了,你一定要注意一下啊,注意一下OK,点进来ETC哈,多网是HD塞的吧,HDF的。上面是吧,在这OK,好,这是我们之前的那副本数为一,我们就放这好不好,因为这个是不影响,无论你是ha集群还是不是ha集群,这都无所谓,对吧?啊,你要不配它默认就是三倍啊,你这个我就不删了啊,其他的配置信息你给他删了,给他删了,OK,先把这个拿过来粘到这。通过这个名字看一下它是。什么意思啊,DFS是咱们那个什么分布式文件系统啊,一个name service。
10:08
服务的一个名称。服务的一个名称叫麦class,那你要是把它改成名字也行,对吧,也就是说现在因为你是有多个name not呀,对吧?哎,你多个内note对外暴露的时候,你不能只对外说只有一个内个note吧,是要对外暴露一个集群的,还是给他一个集群的名称啊,这是第一个,接下来往下走。啊,我要走。看来把这个粘过来啊,这些属性一看就很清楚的,对吧。他说dha.name no在这个my class里边叫什么字吧?哎,两个name no叫什么名字?一个N1,一个N2,取两个名字。
11:01
啊,是这个属性好,接下来往下走。这个里面配的就是具体的。Name,不有一个通信地址吧,通信地址来,拿过来CTRLC。OK,属性名叫什么点,那肯定是。Na这台机器它这个通讯地址,RPC通信地址吗?RPC通信地址,而且给的是8020。一版本的是8020是吧,二版本的是9000嘛,咱们现在所配的都是9000对吧,那为了跟之前机器做一个区分,那我们就用8020好吧,你用8020也是没有问题的,那这个地方要改一下吧。
12:03
改成什么好,渡口102,我们用102103作为两个内弄可以吗?102103,那这个就改成。他都跑103吗,零三。好,接下来这是IPC通信地址,还有一个50070,一看就知道是什么了。零七什么能不能一个外部端口啊,一个外部端口,那这个地方还是同样的。它都跑102,嗯,这个n na11定要对应上啊,全部要对应上,你不能。这个地方是一,然后这写的是幺三。好多宝10303。OK,保存一下,那就是我们现在指定了两个内no的一个RPC的一个通讯地址,就是它与各个内no之间的一个通信地址,以及。
13:05
它的一个HTTP的一个访问地址,50070,这个端口50070OK继续往下。好。这块。看,我们拿过来对着这个属性看它,因为这些属性名字一看就知道是什么内容,对吧。他说,Name not share。艾ice第。就是那note直接共享的这个I放在哪吧,我们之前讲原理的时候说放在哪啊。是不放在这个一个文件系统啊,这个文件系统当时叫什么,只能弄的能弄的。其实它就是真弄的一个地址,然后真能弄的,我们之前看到它至少要配三台对吧,三台那我们就是好多102103104呗,啊配到这就OK了啊,这前面是它的一个协议吧,啊你这个不要动,具体的改的是这块内容吧。
14:17
哈,杜102啊,这是一台,第二台机器是哈。103以及。好多104吧,八五是他的一个。默认的一个端口,端口你不要动了动。啊,这是放它的一个具体共享数据的一个地方,啊,共享数据的一个地方。接下来接下来来看一下这个。这是什么,他是一个什么代理对吧。其实这个就是,哎,当你如果有进程内note挂掉以后。
15:05
他将另外一个内。提起为active的时候啊,所需要的一个代理类啊,所需要的一个代理类。因为我们之前所讲的这个过程啊,无论你是手动还是自动,你都需要什么,这个过程是不需要你管的吧。它中间有很多的一个代理类,以及这个JN节点,他自己做所做的,所做的,就当你一个active节点挂掉以后,它要自动起来之后,它需要采用这个代理提供那个。默认的一个配置方式,或者说这是不是一个代理类啊,它肯定内部还有其他的相应的一个实现类,是不是你有兴趣的可以找一找其他的一种,它有多种这种启动的方式,你可以去看一看啊,他肯定他既然这个能手动的配在这。
16:04
证明他有多个吗?他如果没有多个的话,他干嘛还用配置文件的形式给你啊。是不是,而且既然他有配置文件的形式给你了。那你可以自己。干什么?自定义吧,哎,你有什么好的方式,你可以完全自定义,然后C到它的立下,然后把它引入进来就OK了吧,这不是他的一个权利名嘛。对吧,是他一个全类名,他会通过全类名去反射找到它的一个具体的一个操作方法吧,啊,他说的大数据当中肯定都是这样的,很多框架内部东西呢,都是他对外暴露的接口,可以自己自定义的。那引用方式肯定是通过配置文件引用进去的,如果你在外面不传这个配置信息的话,它是不是都会有自己的默认值啊,要么有一个值,要么为空等等。好,给他的一个代理类,我们继续往下走。呃,然后还有一个这两个属性拿一下看C。
17:13
然后把这个。这个单词什么意思啊?隔离吧。隔离的一个机制啊。什么意思啊,就是配上这个属性之后,你会看到就是我们之前所讲的呀,两个人弄的,当你一挂掉之后。你在用去将N2由stand转化为active的时候。他会不让转化吧,会脑裂,就是他有这个隔离机制,他对外他只能有一个那么多的提供服务。
18:00
有一个能不弄的提供服务。当你试图第二个试图起来的时候,他不让你起了。不让你洗了,有这种隔离机制,这种隔离是怎么做的呢?通过SSH协议,你一看这个东西是配的什么。这是什么?私钥吧,哎,私钥就私钥的地址,我们的地址在哪。我的用户是爱的硅谷啊,我的用户是爱的硅谷,所以是在home爱硅谷点S的目录下吧,你配成这个就OK了,成这个当然你们自己是其他用户的话,你把这个地方变一下就OK了话。再往下走。这一块看啊,特别的这几个属性啊,都是针对于什么,你看一下。如果他说这个u name呢,不是哈,多操作HDFS时候,我们讲过HDFS是什么。
19:06
弱权限管理的吧。他没有实际的一个权限管理一个机制的,但是如果说你的用户名不一样,他是不是不让你操作对吧?啊不让你操作,其实他内部根本没有什么权限啊,这个权限那个权限呢,只不过你是他是当时你操作的用户是谁,你以后就得拿着这个用户的权限来操作吧,啊它是这样的来管理方式的,这两个东西配置的是什么意思呢?就是说当你不是拿。按照硅谷用户操作的时候还会用怎么样呢?如果你不配,他是不是不让你操作啊。不让你操作啊,你可以把这个配一下,当然这个地方我们还有另外一种配置方式,我们配置文件里边写的有啊,我们就不在这儿采用了,这是给另外的用户去配的啊,这一点你要清楚,你要清楚OK。
20:01
刚才我们所讲的内容都是。HDFS当中对吧,还有一个这块的一个内容。其实我们已经配了是吧,只不过他多增加了一些具体的一个路径而已啊,具体路径这个方法是不是我们已经配过了,是这个吧。接下来刚才我们所配的内容呢,都是hdfs set里边的一个内容啊,具体的每个配置文件相对来说也比较清楚吧,从上到下再来捋一遍啊,这个你不用看吧,哎,副本数这个就对外暴露了,哎,提供服务的一个总体的一个名称是什么?然后这块就是你整个集群当中,你有几个能not的,哎,具体内弄的取一个别名叫什么名字。对吧,接下来的这四个。就是你给你两个能不能的说。
21:03
提供的RPC通信地址和HTP通信地址,一个80201个50070。好,然后接下来这个属性配置的是它的共享数据放到哪啊,共享数据放到哪。你之前所讲的,它是不是放在那个真洞的上?而且真能note它是符合皮卡索斯半数协议的嘛,所以而且它已经很明确的说了,至少要三台啊,至少要三台,那正好我们的机型是三台,我们就10210314全部配上,配上,然后这是它中间切换状态所需要的一个协议,之后它的一个隔离机制啊,隔离机制这块是我们HDFS3个里边配置的内容啊,全部都是从官网上粘下来的。啊,全部从官网上摘下来了,好,接下来是我们的一个文件系统,这个时候你要改的是什么。
22:06
扩散的打开我那个扩散。下来。我们之前配的是IGFS哈,102是吧,你现在肯定这样配肯定是不靠谱的。因为你现在是集群啊,你现在是集群。你现在整个对外暴露的,你是有多个,那note,那你只配一个102 103怎么怎么提供服务啊,假如102挂了,103起来了,103是不能提供服务的。来看一下官网上让我们怎么配。属性名还是一样的啦,FS冒号啊,点at FS。他这个指标是。
23:03
注意这个my class1定要跟这个对应起来。这两个名字要写一样的,知道吧,无论你这个地方,你要取克拉也行,但是cos这个地方也要改成克拉吧。啊,或者你不改,你就是官网上的麦克拉啊,肯定不会有问题的,对吧,但是你一定要确保这两个是一样的,因为它对外提供的服务的名称是不是这个,那你这个对外暴露的协议具体的地址肯定要写这个写服务的名称啊。对吧,写服务的名称,这两个一定要保持一致的。叫来。CTRLC啊粘过来这个东西是具体的一个。文件目录是吧?文件目录的话我们需要改一下吗?这个还是指向在哪啊,原来的吧,这个地方你要切的要改一下啊,因为等会我们要格式化的,你要不改的话,是不是把你之前的集群格式化了,所以说这块一定要注意一下,加一个ha吧,啊加一个ha就够了。
24:10
加个J,因为想想呢,我们现在重新搭了一个新的集群啊,等会肯定要格式化的吧。如果说你这个地方不改啊。你是不是之前所有的数据全部丢失了呀,啊,虽然你们不会不重要是吧,但是你们会很烦很烦,所以说你配到这块的时候注意一下,注意一下改一下改一下了,好吧,好,我们重点看这个属性。说DFS真的?而且看他官方给的一个配置的路径,应该是一个本地文件系统吧,对吧,是一个本地文件系统,也就是说具体的这个数据啊,它虽然存到这个GN这个节点上。啊,问大家一个问题啊,电note能存数据吗?
25:05
能吗?电当中的实际是什么?他是一个张类。它是一个张va类是吧,当你你看啊,为什么要这样说,哈哈,多杠demo.sh大的,我本来是电动的,我敲错了,我敲成了这个可以吧,启动的时候它会有什么问题啊。找不到或无法加载主类。你正常能启动那的或的时候。证明他找到了对吧,他没有报这个错。说明无论name note也好也好,它都是一个扎巴类。一个Java类体现在Java虚拟机上面,它其实一个就是JA Java进程。
26:00
对吧。你GPS不是能看到具体的什么note note这些进程,进程ID啊,进程号吗。它是一个加快进程,加快进程怎么能存数据啊,它不能存数据的。其实它还是存在本地文件系统啊。你的date里面不是看了那个什么。8825826,什么BLOCK8258826等等这些信息,这才是具体真正的存数的地方。但是由于大家的习惯问题,就把表示为哎,Data note可以存数据,这是没有问题的啊,只不过大家习惯于这样说,大家都理解了之后,这样说是没有问题的。其实一个data note是一个加快进程,它是不能存数据的。现在我们要讲的就是JN,它也是一个Java进程嘛,哎,它也是不能存数据的,这个属性呢,就是配置的,其实跟这个类似。啊,跟这个类似了。就是说它的本地文件系统这个数据啊,实际是放在哪的啊,你要给它配上,那我们也配到CTRLC加过来CTRLC,然后加一个做一个区分,加一个J可以吗?哎,加note的加note。
27:18
这是这些继续往下看,再往下看就没了吧,你看那具体的命令了吗。啊,就配置文件,哎,主要就配这配这一块。注意啊,我们在配的时候是不是把那个second干掉了。是吧,还有印象吗?三个那么多的,之前不是在这吗?对吧?哎,把它删掉了,其实他已经是不需要的了。已经不需要了,看一下啊,大家找一下呃。
28:00
搜一下吧,看看iPhone。看这块儿这句话。他说,在一个高可用的集群当中,这个备用节点。同样的,也可以做什么?拆个的吧,你可以做。因此说什么?没有必要去跑一个塞那no的,或者拆个泡的no的等等,这些内容就不需要了吧,哎,就不需要了,这你要注意,你把这个删掉都OK了,那OK了,它不需要,因为另外一个三半的时候。它就可以帮助那个氨的配方。节点去完成这个事情,来完成这个事情。所以我们在配置HDMS的时候,把三个东西那么弄的给干掉了,给干掉了,具体的这些配置信息,这边所有的配置信息都是从官网上拿下来的吧。
29:02
啊,全部都算官网了,只有这一个,其实这个是无关紧要的,你要把它干掉也无所谓啊,为了那我把它干掉吧,觉得跟官网保持一致好不好啊,那这样就可以知道这里面的一个属性,所有的全部都是从官网上拿下来的。但是少拿了一个,就是给其他用户的一个权限问题嘛,是不是啊,那我们用另外一种配置方式来看一下。在这啊,他的一个用户的一个权限检查,权限检查。就让所有那个其他油管就不做这个权限检查了。也就是跟我们官网上取消的那个配置一样,哎,正常的,如果你都是拿孩的硅谷用户去操作的话,它不可能产生什么权限问题,对吧?啊,不会有权限问题,但是公司当中一般也不会这样去做,把整个的权限关闭掉,所有的用户都能进来啊,应该是不是这样,为了学习当中方便的话,你要是想配的话,可以有这个属性。
30:11
啊,就是你们的temp文件夹呀,或者其他的一个文件夹,你之前不是遇到什么temp文件夹打不开吗?什么,呃,我记得应该是叫什么,包括who是吧。那个用户还有印象吗?到时候他户这个东西就他们那个目录不让进,说什么这个东西权限不够对吧?哎,你把这个权限检查关闭了就OK了。或者你不加这个,你正常的都拿你普通用户去操作啊,你在学习当中也不会遇到其他什么问题,不会遇到什么问题啊加这个操作。
我来说两句