00:00
好,那准备工作咱们已经做的差不多了啊,那接下来我们要做的呢,就是去修改配置文件啊,那此处呢,我们一共需要去修改两个配置文件,大家注意观察分别是哪两个,是不是就是s coordinator和have connector啊,对吧,就这两个啊好,那我们现在先看第一个preal coinator呢,我们需要在它的配置文件当中增加以下这几个参数。啊,那这几个参数分别是啥?我们逐个来看一下啊,首先大家注意观察presal Co ordinator配置文件是哪个啊?指的是OPT module presal下边的ETC里边的con.properties那我们现在呢,先将这个文件打开啊,来CTRLC。注意这个是不是在102改对吧,打开打开之后呢,大家还记得这样的几个参数吧,什么Co orator等于true,就表明我这是一个啥呀啊,我这是一个这个Co对吧?就这个意思啊,其余的我就不再再一个一个说了啊,那现在我们要做的呢,是在这个文件里边增加下列参数,咱们需要把这一堆参数给CTRLC拿过来,给它增加进来。
01:00
好,那我们增加进来参数分别式啊,咱逐个来看一下啊,来我们先看第一个。这个应该能看懂吧,这个是不是就是什么htp server authentication.type等于curs啊对吧,那我是不是就采用这个认证,就这个意思,然后往下走看这。这个应能能看懂吧,这啥是不是HTTP://server.authentication.krb5.servicename啥意思,是不是就是我们那个,呃,服务的名称啊,对吧,那咱们的服务名称是多少,是是什么。是不是就是psal,实际上这个它从哪来的啊,这个服务的名称呢,实际上是不是应该是来自于我们那个呃,Co or这个服务的科ber,如主体的第一部分呀,对吧,咱第一部分是不是就叫press对不对,那此处呢,我们就需要写press,好现在往下走,那s name写完之后,那接下来是啥?是不是就它那个密钥文件啊,对吧?啊,就是密钥文件啊,完了之后呢,密钥文件需要指向我们为它创建那个pressal service.k type是这样的啊,那其实相当于啊,这两个参数就分别是什么?这个其实当然就是看着可能跟咱们之前不太一样,这个其实就相当于是啥呀,是就那个principle啊,对吧,其实就是principle啊,那完之后呢,下面这个就是啥?就是咱们那个密钥文件啊,那这样一来我们启动coordinator的时候,它是不是就可以像这个CS进行认证了呀,对吧,账户密码我都有啊好,接着往下走,那下一个是啥呀。
02:25
这个其实比较简单,这就是啥,就是我们那个KRB5肯其实就那个科S客户端的配置文件,就是那个etckrb5.com啊,咱们给它指明一下就行了,好接来继续往下走,那再往这。这俩参数,这俩参数大家应该一看就能看明白,这啥呀,是不是就是启用HTTPS啊,对吧,完了之后呢,又给了一个HTTPS的端口号啊,7778,那大家想一想,你说我之后我们的客户端在与这个咱们的press的coor进行通讯,你说我得采用啥,是不是采用HTPS协议,那我要访问的端口号还是之前的8881吗?
03:01
还是吗?就不是了,我们再访问是不是应该访问这个7778才对啊,对吧,是这样的啊,诶有同学可能在这块呢,就会有疑问了,你知道怎么有两个多口号呢,一个是778,那我前面那个8881要不要删除呢?需不需要啊?不需要大家注意观察,这俩参数不完全一样,这是HTp.po对吧,这个呢是HTps.pot啊是这样的,这个大家一定要注意啊,那为什么我前面那个HTP我不给他不给它删除呢,为啥呀。也有咱们说了啊,就是press的,呃,这个认证呢,我去配置的时候呢,我可以有两种选择,一种选择是什么啊,就是我的客户端和coordinator之间进行这个认证啊,然后呢,采用HTTPS协议进行通讯,那我集群内部啊,我的Co和worker之间,我进行通讯的时候是不是不认证啊,对吧,不认证是不是还是采用这个HTP协议进行通讯,对吧?所以这种情况下是不是这个HTTP端口它还是会用到的呀,对不对,或者说我也可以怎么做呢?啊,我也可以啊,同时保证我的客户端与coordinator之间采用诶认证采用HTPS协议啊,并且它集群内部的coordinator和worker之间也采用HTTPS协议,那如果说你都采用HTPS协议的话,那这个多少法还有还有用吗?
04:16
那这种情况它就没有用了啊,但是我们现在呢,它是有用的啊,我们现在只是配置了客户端和coordinator之间的认证,只有他俩采用HTPS协议及群内部仍然采用HTTP协议啊,啊,这会理解一下就行了,那再往下走啊,那这两三串应该就好理解了,这两条别分别是啥呀,是不是我们那个k star文件的路径和k star这个库的密码啊,对吧?啊,咱们给它写上就行了啊OK,好,那这块我们就配完了,那现在我们相当于就已经完成了这个coordinator这个文件的配置,呃,这个修改了,那完了之后我们基本下到下边该改了,是不是改该改这个have connector的配置文件了呀,对吧?啊,那现在我们去修改一下haveve connector的配置文件。来,我们CTRLC把这个拿过来,拿过来之后呢,我们给它,呃,修改一下来放在这儿。
05:05
来我们VM,那这个还记得这个connector的文件在哪吧?在哪啊,是不是应该是在我们那个ETC下面的catalog里边,对吧?Catalog里边呢,有一个have proper给咱们给它打开,大家知道这两个参数应该还比较熟悉吧,一个是connector的名称,一个呢,是咱们那个have的ma store的地址,对吧?啊拿完之后呢,我们继续往下走啊,那下边我们需要给它增加的参数呢?诶有这么多这个参数还是比较多的啊来咱们主干看一下,来CTRLC咱们拿过来,来过来之后呢,我放在这,来我们一起来看一下啊,两部分,其实两部分啊,分别是哪两部分呢?一个是与mes store相关的一个配置,对不对,还有一个是啥?是HDFS相关的一个配置啊,为啥呀,你想想啊,我们这个所谓的have connector啊,所谓的这个press have connector,我是不是就是要与MAS store进行交互,也也要与跟谁进行交互,也要跟这个HDFS进行交互,对吧?那所以说我是不是得配置这样的两部分的认证啊,那咱们主要看一下,我们先看第一个看这。
06:09
啊,这几个分别是啥?先看第一个参数啊,have.might store.authentication.type等于这不就是声明我要呃使用这个purpose认证啊,对吧,现在往下走,下边呢,这是什么。注意啊,这俩不一样的啊,这俩不一样的,这俩分别是啥什么service什么,对不对?这个怎么理解?我们看一下这啥,这是have might store.service.principle等于have海1021个example.com,这个怎么理解?这个为啥要写have啊?这个应该跟谁一致啊,这个参数。你想一想啊,这啥意思?是不是have的MAS store这个服务的主体啊,对吧?是这个意思吧?那have ma store这个服务的主体我们之前在哪配的,还有印象吗?是不是在have里边配的,我们进到OPT model have com vm这个have set have,然后杠set打开,打开之后呢,我们找到ma star,这是不是ma star相关的配置,对不对?那ma star的主体是不是就是这个对吧?那所以说此处我们是不是应该跟它保持一致啊,对吧?啊,所以这块写have是没有问题的啊,接下来继续往下走,在下边看这。
07:15
这俩是不是都是have mear的客户端呀,对吧?啊,那前面我提到过我们所谓的havear,咱们怎么去对待它,呃,不,不是不是maar,就是咱们所谓的这个have,这个connector啊,Press have connector咱们怎么对它呀,是不是就把它看作MAS store的一个客户端,以及这个HDFS文件系统的一个客户端就可以了,没错吧,那所以此时呢,我们相当于是,呃,需要为pre,这个ma,这个have connector的这个客户端去准备一个主体,那我们之前已经准备好了一个,准备的是哪个?是不是就press就行,对不对?我们刚才为pre是不是一共创建了两个主体,一个是为Co orator这个服务创建的这个服务主体,还有一个是谁?是不是就是为我们的have connector创建的这个用户主体啊,对吧?那这块不是就咱们那个用户主体啊,它是不带主机名了啊,Press at example.com啊,这个没问题吧,好,接着往下走,那这个是不是就是这个主体的密钥文件呀,对吧?哎,Press k tab它是没有那个点service的啊OK,好,那ma相关的参数我们就配完了,那配完之后我们继续往下走啊大,大家来再来看这。
08:17
那这些参数分别是啊,我们这来看一下,选第一个,这是不是声明我这个HDFS的认证方式是科没问题吧,好继续往下走,那下边看下这个。这个参数啥。have.hdfs点点enable的等于除,那这个参数啥意思?这个参数其实是模仿的意思,模仿谁谁谁是这样的意思,其实这个参数跟谁有关的,这个我需要给大家解释一下,这跟谁有关呀。跟谁有关?跟哎海杜op当中的代理用户是有关的,诶这块又提到这个代理用户了啊,那咱们想为啥这儿也要去做这个代理用户相关的配置呢?那咱们想一想,那那咱们都知道啊,那我刚才提到了这个所谓的have connector,我们怎么去对,是不是就把它当成一个HDFS客户端就行了,对不对,那你客户端去访问HDS你得干啥?
09:13
是不是得认证对不对,那所以说我们下边你看这这样是不是会有一个啊,这个price的一个,呃,Principle,还有一个这个k type呀,对吧,那这样一来的话,我是不是就能够完成认证,但是你要注意我现在认证完之后,我这个客户端的身份是谁。就是这个have connector他身份是谁,是不是就是press的对不对,那你想一下,我们后续假如说我再通过press的客户端啊,像我们的这个press的coordinator去发送circle请求啊,那coolinator它会干啥?是不是会把任务发到这个worker里边,对不对?那worker是不是就会用我们在这个位置所配置的HDFS的客户端的这个主体这个身份去认证,认证完之后是不是去访问HDM文件呀,对吧?那咱们这个身份就是。如果没有代理用户这个机制的话,那我们去访问HDF文件的身份都是谁呀?是不是都是我们在这个have的have的connector里边去配置的这个pre这个身份呀,是这样的啊,那也就是我在这儿,我不管我用谁的身份来去写circle,我用张三去写circle,我用李四去写circle,我用王五写circle,那最终访问HDFS文件的身份都是谁呀?
10:19
是不是都是这个connector的身份,也就都是这个presal了,对吧?那显然这样是不合理的啊,为什么不合理?还是这个问题啊,比如说我本来张三对这个文件是没有权限的,那PAL对它是有权限的,那这样一来的话,我我本来不应该访问,但是我能够访问了啊,这样一来肯定会乱套,是这样的啊,所以说此处我们需要干啥呢?我们需要为普sal用户去配置一个代理用户啊,代理用户啊,那大家想想这个代理用户我们之前不是说了嘛,在那三个参数里边是不是有一个用户啊,对吧?那想想你说我们现在要再配代理用户,咱们那个代理用户他的用户名应该配谁?应该配置谁呀?是不是应该是配置咱们这个have connector这的这个psal用户啊,对不对啊是这样的,也就是说诶我张三啊,我去提交任务啊,那我把任务呢,先经由谁经由这个pre用户代理一下,这个代理其实就干啥,他会帮你去做一些啊准备工作,做一些这个完成之后的善后工作,那中间的提交任务的这个核心任务还是由谁来完成的。
11:19
是不是还是由我们提交任务的这个人来完成的呀,对吧?啊,比如张三提交,那最终就是张三的身份去呃读取文件啊等等等等啊,这个大家一定要理解一下啊,OK啊,那所以此处呢,我们需要启用它的代理用户,然后一会儿咱是不是还得去海do的Co s配置文件当中去增加一个代理用户啊,对吧?啊,这是大家要注意的,好,我们继续往下走,代理用户咱们要搞清楚再往下这个位置。那这个位置呢,其实就是干啥,是不是就是去配置,呃,我们这个press用户的主体和密钥文件啊,对吧,这个我就不再解释了,接下来计划下等,那这这是在干啥呀。啊,在这儿呢,我们呃需要为presal引入两个hi doop的配置文件,那这是官方网站上要求的,我们照做就可以了,一个是Co site,一个是hdfs set OK啊,好,那大家呢,需要根据自己的实际路径去修改一下这样的两个参数,可能有的同学high look是没有版本号的,对吧?没有的话需要改成跟自己一致的,找到Co s和HD side就可以了。好,那这个参数这个文件咱们就配完了,好,那这个配完之后咱们需要干啥?
12:22
这个文件得分发才行吧,啊,这个得分发,因为每个worker是不是都需要用到我们的这个have.private文件呀,对吧?啊,这个一定要分发啊,别忘了,OK,那这个文件我们到这儿了,就算是配置完毕了啊,那完了之后呢,我把这个视频先停先停一下啊。
我来说两句