00:00
好,各位同学,那接下来呢,我们来看一下这个preal如何在这个安全环境下去使用,也就是说如何为preol去开启这个,呃,Preal安全认证啊,来接在往下走,那这样呢,还是先统一的说明一下我们这个的这个改动说明啊来这段话咱们一起来读一下啊,大家还记得我们price它这个架构是什么样的吗?还记得吗?架构啊,先先说服务端啊,服务端是不是主要是俩角色,一个是coordinator,一个是worker,对不对啊,那还有一个呢,是客户端对不对?客户端诶会给Co onator发送搜Q请求啊,Co呢,它接入到请求之后呢,会干啥?会解析任务对吧?啊,会解析circle狗,然后生成诶执行计划,然后把计算任务呢分配到不同的worker里边去执行,没没错吧?啊是这样的啊,这是咱们这个presal啊,它的一个呃技术架构啊,那完之后preal是可以对接多个数据源的,对不对啊,那我不管是对接什么数据源,我都需要给他配置一个什么来着。叫做connector,这还记得吧啊,这个connector咱们当初应该是配了一个have的connector对吧?其实have的connector呢,本质上就是一个啥说本质上就是一个呃配置文件对吧?里边呢,我们一共俩参数,一个是connector的名称,还有一个呢,是一个MAS到UI的地址,这还能想起来吧?啊,我们呃,当时主要是配了一个have的connect,其余的connect是没配的啊OK,那这个呢,就是咱们price的一个基础架构,咱们需要回忆起来啊好,那现在我们来看一下price要想启用科安全认证需要做哪些配置,来,我们先看第一段啊。
01:34
首先看这prestal呢,哎,这个集群要想开启cors认证啊,我们可以只配置prestal coordinator和psal客户端之间的认证啊,集群内部通讯可不进行认证。啊,那当然你想让他在集群内部进行认证也可以的,这是一个可选项啊,是这样的啊,OK,那咱们简单回忆一下我们之前搭的那个,呃,海杜op的一个这个安全认证啊,我们hi豆op呢,咱们去开启这个客户认证的时候呢,是不是不光我们的客户端与什么name note和data note需要进行认证,那它的各组件之间进行通讯是不是也得进行安全认证啊,对吧?啊,那这个是必须的啊,你这个是不能选的,但是Co其实是可以选的啊,我们可以选择只配置客户端和coordinator之间的认证啊,然后呢,集群内部节点之间的通讯可以不进行认证啊,这个咱们理解一下啊,那此处呢,我们集群内部通讯就没有做认证啊,啊接着往下走,那pre的coorinator和pre的客户端之间的认证,它要求有什么要求看一下啊,要求两者采位采用更为安全的HTTPS协议进行通讯。
02:48
啊,就是之前咱们的客户端和我们的这个Co on之间进行通讯的时候采用的啥呀?啊,是不安全的HTTP啊,那现在它要求我们采用HTTPSOK啊,那这是这是我们需要去注意的一个地方啊,OK,那现在继续往下走啊,那如果说preal对接的这个数据源是haveve,因为press可以对接很多数据源,对吧?如果对接的是haveve啊,那由于其需要访问haveve的原数据以及HDSL的数据文件。
03:20
没错吧,那也就是说需要跟have进行交互,需要跟HDFS进行交互,是这个道理吧?那所以说我们这个have的connector是不是也需要进行客,也需要进行课认证啊,啊,这个咱们一定要理解一下啊,OK啊,那也就是此处呢,我们一共需要做两处认证的配置,那一处呢,是pre的客户端与preal coordinator之间的认证,没错吧?那还有一部分是哪儿?Have是哪啊,哎是哎,这个have connector这样的一个认证,因为啥,因为have connector呢,其实相当于是需要访问啥,需要访问have的原数据,需要访问HDF数据,那所以说这部分咱是不是需要跟这个启用curbos的highloop集群进行交互啊,对吧?经交互是不是也得进行相应的认证操作啊,是这样的啊,咱们需要做这样的两处啊好,那接下来咱们就开始去做相应的配置,OK啊,那首先我们先来看一下我们这边的一个呃准备工作啊,那首先这个准备工作其实主要还是创建用户啊来我们先看第一步咱们干的是啥。
04:23
首先我们是不是需要在所有的节点去创建一个persal的系统用户啊,对吧?啊,为啥要创建这个preal系统用户啊,啊还是老规矩啊,现在我们启用科普认证之后呢,我们不同的服务,不同的进程需要用不同的用户去启动,对不对?那所以说我们之前都用的是谁都用的APP硅谷对吧?那现在我们不用了,哎,我们需要用自己的用户去启动它,那同理我们也是将其归到了highdoop组下边啊那下边呃,这个语句呢,是给它改密码啊,那P用户的密码呢,就是啊啊配合完了之后,我们往下走,我们先给它创建出来吧,啊好,三台节点都需要啊,为什么三台机都需要呢?因为咱pre是不是一个集群,对吧?我们三台接连每个里边是不是都有一个这个press的一个进程啊,对吧?啊OK,那接下完完事后我们往下走啊,来打开这个文档,好再往下啊,那下边呢,我们就需要去创建这个curs主体了,注意啊,咱们需要去创建curs主体了,反大家注意观察,在这儿呢,咱们一共创建了几个主体啊。
05:23
是不是两个主体,大家注意观察,这不一样啊,第一个我们是为谁创建的?为have connector创建的啊,那下一个呢,是为谁?是为prestal coordinator创建的coververs主体啊,是这样的啊,那刚才咱们提到了,我们要想启用cors认证,是不是得配两部分,一部分呢,是客户端与coordinator之间的认证,那也就是说普coin它是不是相对是一个服务端,服务端是不是得有一个自己的一个cur的主体啊,对吧?是这样的啊,那刚才还提到了,我们还需要为谁为have的这个connector连接器去配置认证啊,那所以说我们have的connector这是不是也需要有一个呃,Press一个主体啊,是这样的啊,OK,这是大家需要去注意的啊啊,那现在呢,我们先为这个have的connect connector去创建这个covers主体,OK,那我们来创建一下啊,首先我们把这个命令给它粘出来,在哪就在诶102这节点就可以啊,现在我们打开。
06:20
啊,一起来看一下啊,那再来看一下这个能看懂吧?啊是不是用din这个主体登录,然后密码给它输入进去,对吧?然后你看我创建的这个主体名叫什么。是不是叫的pre,注意啊,我这个有后边那个什么主机名吗。有有主机名,没有主机名对吧,那就说明我们这个主体,我们把它当成一个什么了,是不是当成一个用户的主体了呀。能理解吗?哎,那为什么我把这个have connector当做一个用户了呢?这个怎么理解啊?其实很简单,你想一想啊,这个have connector是干什么用的,是不是就是他会去访问HD文件,它会去访问masto对吧?那你想一想这个have connect,其实说白了就相当于是一个啥。
07:02
是不是就相当于是以我们一个hi lookop或者是have的一个客户端呀,是这道理吧,那所以说我们就以一个哎普通用户的身份哎去为这个呃connector去创建这个客的主体就行了,它就相当于是一个hi度op或者是hi的客户端啊,那所以在那呢,我们没有按照服务端去处理啊,那现在我们直接回车啊,回车之后呢,那这个是不是press这个cover的主体就创越出来了,对吧?串出来之后呢,我们继续往下走啊,那下面呢,我们需要为其生成一个哎kupb密钥文件啊,生成密钥文件的命令就在这,我们直接回车就可以了,让大家注意观察啊,那这个密钥文件会写到哪,是不是会写到咱们之前这个路径,然后它的名字呢,叫做PRe.k typeb啊OK,这个咱们就创建出来了,出来之后接下来要干啥?那老规矩还是不是,还是得需要去修改一下它的这个访问权限啊,对吧?OK,那接下来我们去修改一下CTRLC拿过来拿之后咱们把它赋予给谁了呀?是把它的所有者赋予P了,对吧,那所有组呢,还是海do吧,那现在我们回车修改一下,修改完之后。
08:02
看一下这个位置,咱们做了一个什么操作,是不是给它分发了呀,对吧?OK,那在这儿呢,给大家解释一下,为什么要分发这个price k ta呀,大家想想为什么呀。为什么要给他分法呀?嗯,分发是不是意味着我们每台键子都需要一个这样的一个k ta文件,对吧,你说为啥呀。这个其实很简单,你想一想啊,咱们给谁配的呢?是不是给have的connector配的?是这个道理吧,Have connector,咱们说了这个connector是干什么用的,是不是就是相当于是一个high of的客户端,或者是一个ma store的一个客户端,对不对?他需要去访问我们这个HTM数据啊,对吧?你说我们这个整个price是一个架构啊,谁去谁会去访问咱们这个HM数据啊?加国是不是有coordinator,还有谁,还有我们的worker对不对,那其实主要是谁访问呀。其实主要是worker访问,为啥你想想啊,那咱们把circle给Co Co是不是会生成计算任务,计算任务是不是会下发到每个worker里边,那worker是不是会根据计算任务去我们这个have当中去读取相应的数据,读完之后呢,再进行相应的计算呀,对吧?去have读就是去那读就是去HDN上读,对,去HDFS上读对吧?那所以说我是不是每个work都可能会去读取HD上数据。
09:16
都需要去读,是不是都可能需要进行认证啊,对吧?那所以说我们这个密钥文件是不是得分发一下,所以这块呢,大家要理解一下啊啊,那分完之后我们计算进行啊,那到现在为止呢,我们为have connector创建的S主体就创建完毕了,接下来继续往下走,再往下我们要为谁创建,是不是要为这个呃,Press的coordinator去创建啊,对吧?那这个是不是相当于是我们当中的一个服务对不对?那所以说这个呢,我们就按照一个服务啊,这样的一个cors主体的格式去创建啊,那咱们拿出来看一下它的主体名件是不是叫做presal,然后斜线后边来这个HI102了,对吧?OK,那这个显然我们就把它当做一个服务去对待了,然后现在回车,好,那这个主体是不是已经创建出来了,创建完之后我们继续往下走啊,那下边呢,我们需要为其生成这个k table文件,诶拿过来那这个文件大家应该是能看懂对吧?它是不是叫做presssal service.k ta呀,对吧?啊其实这块给大家说明一下,我这个文件叫啥其实都行啊,我这有service跟没有service是不是主要是为了区分。
10:16
哎,它到只是一个服务的这个文件,还是一个普通用户的一个文件呀,对吧?这个咱们理解一下,其实这个随便起啥名都可以啊,慢慢说我回车好了,那这个服务的这个呃主体的嗯配密钥文件我们也生成了,生完之后我们就往下走,那我们同样需要对其进行这个呃访问权限以及所属者的一个修改,对吧?来回车啊,我们是不是也把它归到了这个pressto用户以及还组啊,对吧?啊然后要注意这个文件咱们还需要分发吗?需不需要?这个就不需要了啊,这个就不需要了,这个为啥不需要。因为我只有HIDO102会启动coordinator对吧,其他的节点就不会使用,所以说这个就不用分发了啊,这块区别大家体会一下哈,好,那这个完成之后我们继续往下走,那下一步是干啥?下一步是不是又去创建一个什么HTTPS协议所需要的这个密钥,对啊对吧,那也就啥,其实就是跟我们之前为hi豆吧启用HTTPS协议,当初呃,那个时候去做的那个操作是一样的吧,嗯,没没错吧,大家还记得吧,因为HTP协议呢,我需要啥,我需要有有证书,需要有公钥,有私钥,这个东西咱是不是得使用K拓这个工具去生成一下啊,对吧?那所以此处呢,我们也要做相同的操作,为什么呢?因为刚才说了,咱们看一下这是不是有要求说我们要为press coorator和sa之间进行认证的话呢,是不是必须得保证这两者使用的是HTTPSHTPS写一下对吧?那所以说此处呢,我们需要去呃,创建我们所需要的证书和密,对啊,OK,那这个怎么创建呢?那这有一个命令,注意啊,这回再创建。
11:49
的时候,它是有一些要求的,当然这个要求呢,也是来自于的官网的,有哪些要求,我们来逐个看一下。首先第一个。大家还记得我们在使用k two这个命令去生成密钥对的时候,有一个这样的参数吧,杠Ali a列数起别名对不对?当初我们去为hioop生成这个证书的时候,那个别名是可以随便起的,但是在这儿咱们不能随便起了,那我们得得得干啥?它有要求啊。Ali斯这个别名呢,需要和presal coordinator的cors主体名保持一致。
12:24
啊,这个一定要注意啊,那当然这个主体名呢,指的是啥啊,不是整个主体名,整个主体名是不是咱们通常是由三部分组成的呀,对吧?第一部分跟第二部分用斜线分隔,第二和第三部分呢,是不是用一个艾特分隔呀,对吧?那此处它具体到底跟谁保持一致呢?就跟我们这个cur主体名当中的第一部分保持一致就可以了啊,这个一定要理解啊,那咱们preal Co它的主体名叫啥呀?跟咱们给它创建。是不是叫做pre hi102啊,对吧,那也就是谁是不是就pre就行了,那所以说这个别名必须得是pre,这个一定要注意一下啊,那除此之外呢,再往下走,大家还记得我们把这个命令执行完之后,咱们一窍回车,他是不是会让我们什么输密口令等等之后呢,会让我输一些信息对吧?啊,什么名字姓名,呃名字与姓氏,什么单位组织等为任务出这些东西啊对吧,之前我们说都是直接回车,但是此处不能再回车了啊,名字与姓氏这一个呃栏呢,我们必须得填入coordinator所在的主机名。
13:24
那那我这是不是海度102啊,对吧,所以大家呃,我这就得写黑度102,那如果你那是海度105,那你就得写成海度百幺零五,这个一定要注意一下啊好,这是它的一个要求,OK,那接下来呢,我们就把这个命令去执行一下啊来,咱们开始。来,那我现在直接回车啊,单独观察,你看我这我这是不是要做这个press的啊,对吧,这个没问题的啊啊那这个路径呢,还是这个路径,那现在我们回车走,那还让我们输入密钥户口令,我这边呢,我就再随便写一个,比如说还是123456回车,然后呢,123456,好,那注意这块不能再直接回车了,咱们得写啥,是不是得写Co onin所在的节点的主机名对吧,那也就是hi look102啊那回车,其余的不用填啊,直接回车就行,走走走到最后问你是否正确,那我们就输入yes就可以了,然后回车。
14:14
好,那问我这个密钥库怎么样,这个P这个密钥对的密钥口令是否与库相同,那相同呗,对吧,直接回车就行了。OK啊,那到现在为止呢,我们呃,这个HTPS协议所需要的密钥,对咱们就准备好了啊,好,准备好之后我们继续往下进行啊,那咱们还需要干啥呢?还需要再做最后一步啊,就是需要给他去干啥,是不是得去呃给他那个修改一下他的这个所述者和访问权限啊,对吧?啊,那咱们改一下这个呢,改的是谁?就是我们刚刚所生成的这个呃,K文件啊好,那首先所有者press,所有组呢,还do,然后回车,好,接下来我们继续SL,那再往下呢,咱们把这个CTRLC拿过来。来给它放在哪,放在这个位置,咱们需要将它的这个读写权限设为660啊,那也是只有他的所属者和所属所属组对他有这个读写权限,对吧?啊,那现在我们回收就行了啊,OK啊,那这个文件呢,我们就已经呃准备好了啊OK啊,那再往下呢,我们要做的呢,就是去修改pro当中的几个配置文件啊,那这块我把视频停一下吧。
我来说两句