00:00
好,上节课啊,我们已经安装好了hioop,并配置了环境变量,那接下来的操作呢,就是配置hideop集群。那配置孩子北鸡群从哪下手啊?首先呢,下手的就是对应的这个。集群规划对吧?啊,一切呢,都是从这个集群规划开始,没有这个集群规划呀,一切都扯淡。因为想啥呢?因为你得按照这个图纸去盖房子。对吧,啊好,那这里面呢,一共用到了这个啊三台服务器,102103104啊,那在102上呢,我们这里面安装的是name noe啊,以及这个note啊,1032呢,主要安装的是这个resource manager啊,104上呢,主要安装的是secondary name note。啊,其实啊,正常情况下呢,如果是生产集群,建议大家把这个三内note哎换成ha,哎不安装它直接安装内NOEHA啊就可以,那为什么这里面我们还用的这个tonn呢。啊,其实很简单啊,因为这个ha啊,它比较消耗资源啊,那以目前大家现在的电脑配置呢,搭建ha啊,相对来说有一定压力,那用这个tonn呢,呃,其实相对压力要小一些啊,所以说我们这里面用它啊,但是我的电脑肯定没问题啊,我的电脑这个64G内存啊,我想大家心是没有问题的啊,但是为了保持跟大家一致,所以说这里面用的是托恩。
01:16
行,那我们往下走啊,接下来我们就按照这个去配置,那来到这之后大家思考一个问题啊,说我们hioop在安装的时候配置了几个文件。回忆一下。汽车配置的有。Car set有HD set,雅n set map right set,还有一个谁啊,还有一个work斯,是不是一共这么五个文件呢?啊,对啊,一共就需要配这五个哈,那下面呢,我们回忆一下,看一看在Co当中我们配置了哪些文件。那比如说第一个。FS default FS啊,然后呢,是102 8020是不hi度与hi之间内部通讯的一个端口啊,8020,其实这个8020啊,这里面有点历史的故事啊呃,像我们在还做1.s系列的时候,我们用的是8020。
02:09
到2.2系列呢,其实官方推荐的是9000。啊,当然8020也能用到了,Hiop3.0的时候,诶,出来了一个9820。诶可以用它了,那到了3.1的时候呢,诶官方又推荐8020,所以说这里面呢,哎,我们就用这个8020啊就可以了啊,总之呢,其实哪一个都行啊。将再往下看啊,下面呢,说的数据存储路径,哎,Time t啊这个呢,就是未来将我们的这个NN和DN对应的数据存储在哪里。其实啊,这个N和DN默认的这个存储路径呢,是在这个斜杠目录下。也是linu系统的斜杠time目录下,那这个目录下呀,如果说哎,你不把它移到别的地方,那这个数据呢,过一段时间就会被清理掉啊,一般情况下呢,是一个月啊就清除掉了。
03:00
那很显然这个是我们接受不了的,那所以我们正常情况下开发的时候都会将这个路径改在比如说我们自己的这个安装包下,那这样管理起来呢,更方便一些啊,同时呢,也是数据比较安全可靠。好,那下面再往下看说呀,配置as网页登录的一个静态用户硅谷。那到了这个嗨多版三点系列的时候。它增加了一个新功能,也是在这个外部页面上啊,尤其那个9870那个端口那个页面上啊,我们可以对这个HTS啊,相关的一些文件进行相关的一些操作。比如说把这个路径上的数据删除掉,或者一些其他的操作。那这个呢,就需要你配置一个超级用户。啊,比如说这里面我配置的是爱特硅谷啊。艾特给我上用户,那配置这个用户之后,我就可以在这个页面上,哎,对相关的内容进行操作。那这个配置个超级用户是好还是不好呢。其实不是一个好事啊,如果在生产集群下,呃,而且你这个网络呢,是对外暴露端口的,你是外部可以访问啊,你这个集群的时候,那么是有危险的,因为一旦对方得知了你这个用户之后,就可以在外部界面上对你整个集群进行相关操作。
04:15
那其实是有危险。那有危险怎么办呢?哎,我们后续在讲这个课程当中啊,有一个用户认证。哎,叫keyboards,这个keyboards呢,它可以认证你这个用户是不是一个合法用户,那怎么认证呢?哎,它需要你访问任何页面的时候,都需要输入用户名,还有密码。啊,你光得到这个用户名没用,你还得有对应的密码,比如说你得知道这个用户呢,是六个零啊对应的密码。那这样的话你才能访问。啊是这样一个过程啊,那后面呢,会给大家详细说,那这里面呢,呃,我们这个为了呃开发方便使用啊,所以说我这里面配了一个啊超级的静态页面用户啊艾特硅谷OK。那下面呢,还有一个叫代理啊,这三个都是啊,啊代理。那这个代理用户又是啥意思呢?那下面呢,给大家画一张图啊画张图。
05:05
画张什么图呢?比如说我们这里有个眼。啊雅队列对吧,啊雅里面有各种任务。比如说我这里面啊绿色。这是A队列。我再来一个。B队列。可以吧,啊,因为呢,它是可以配置这个多队列的。还有个这颜色。我再来个C。我这个C呢,换另一个颜色啊,换成它对吧,哎,这三种颜色好,那现在呢,我在左侧呢,这边有A用户。AA用户呢,创建了A队列,对吧,诶可以访问这个A队列。那我再来一个B用户。我再来一个新用户。这是我AJS集群对吧?嗯,集群,那我现在正常情况下呢,我这个A用户呢,可以自己是作为一个客户端,是不是可以向这个对列里面提交任务啊啊可以,那同时呢,B呢也可以向自己的队列里面来提交对应的任务。
06:11
啊,那么C呢,当然也可以。那现在问题来了,那如果我左侧这边啊,有N多个客户端。客户端比较多。非常多,那你非常多的话,是不是就消耗资源呢?每一个用户都要来一个客户端对他进行访问。那你每一个都要创业客户端。那个资源消耗比较多,那大家就想说有没有一种招数说我来一个客户端公共的。来公共的客户端,然后呢,大家呢,不往这提交了,往哪提交呢,往这提交。这个。是吧,我都往这提交。放在这儿,然后由他呢统一帮我们把这个队列。由他来统一提交任务,提交到对应的队列里面。
07:02
你看这样行不行?对吧,那我创建的资源是不是就一份啊,那这样效率是不是要高一些呢。但是再思考问题,那现在问题就来了。咋来的呢?那谁启动这个公共的这个服务。啊,比如说你像那个have里面,我们有一个have show to吗。还有手法图对吧,哎,手动其实就是类似这个服务,那么如果是A启动的这个服务,好,那如果说B和C通过他提交任务,那问大家问题。我提交这个任务有没有权限?说这个我这个任务会不会提交到这个B队列里面,会不会提交到C队列里面去,就是能不能提交成功。思考一下。哎,正常情况不会,为什么说不会呢?你看啊,这里面是这样问题,你A启动的这个公共服务。那好,那其实这个服务所具备的权限是A给他的,比如说A只能访问A队列。
08:01
那我这个B。把这个任务哎给到这儿。对吧,由他来代理,那其实这个B正常,他访问不了这因为这里面已经包裹成一层变成A了。那我这个C呢,你在这面提交也是我也给你报成A了,那A呢,只能访问A队列,那我这个从权限上角度来考虑,那我提交不到B和C。那我希望我这个B用户或者新用户能提交到,通过他代理还能提供到对应的队列里面,那怎么办呢。那就需要把它变成一个代理用户,哎,他如果是一个代理用户的话,他就具备什么功能呢?哎,我把你一些不是复杂的工作已经给你做好了,核心的工作呢,还由你B和C来提交,他能做到一个,虽然说我A启动这个服务,但是诶我还让你这个B用户提交的任务,按照B用户的权限去访问指定的队列。这你懂吗?哎,他只是把这个平台搭建好,真正提交的还是他,那如果说这个A他不是一个代理用户,那他就不具备这个功能,那不论谁把任务放到这个施工服务里面,它都会把它变成是A来提交任务。
09:12
那么A它可不具有所有队列的操作权限,那这样就会出现一些问题。哎,是这个一个原因,那怎么办呢?那这里面在配置的时候就可以将。诶,你看这里面啊,配置艾特硅谷用户,哎,具有这种啊,超级权限其实就是代理客户权限,那他代理什么呢?代理所有的host是主机节点,还有代理呢,用户的所属主啊,以及呢,还有对应的代理用户啊,所有的用户,为什么说是所有用户呢?你看这里面是星星星。哎,都表示是所有。OK吧,啊就是这个意思啊,也就是说有了这个代理用户之后,那通过他启动的服务,那任何客户端,诶通过他。都可以把对应的队列任务提交到自己指定队列里面去。
10:02
OK啊。行,那下面我们来配置一下吧,把这个信息拿过来。不是。复制之后。CD开头吧。CDETC还做法。进来之后vm call set啊进来进来之后在这,然后O1定要插入进来啊,然后。粘贴对吧,来粘贴。保存,保存完毕之后第一时间进行一个分发snc car。哎,这样呢,这个cos的配置文件我们就完事了。
我来说两句