00:00
好,那刚才呢,我们已经成功的启动了HDS了,对吧?那接下来呢,我们就可以准备去启动雅安和历史服务器了啊当然呢,在去启动雅安和历史服务器之前啊,我们还需要去修改几个HDFS上的路径的所属者和访问权限啊那这个列表呢,就是我们要修改的这些路径,那当然这个列表呢,也是摘自于海杜op的科bos配置文档啊,简单看一下啊,那首先这些呢是我们要修改的路径啊,那这些呢,是我们要修改为的所有者,那后边呢,就是我们要修改为的权限啊啊那现在我们简单看一下每个路径啊,先看第一个啊跟路径。啊,这块根路径啊,大家注意观察一下,我们需要把它的所属者和所属组改成谁,是不是改成HDFS和海do啊,对吧?啊,那这个为什么要改成HDFS啊,这个我简单给大家解释一下啊,那首先啊,HDFS跟路径啊,它的所属者应该是谁呀?应该是HDFS这个文件系统的超级用户。那HDS这个系统超用是怎么定的呀?
01:03
就很简单啊,启动name node进程的用户就是HDS文件系统的超级用户啊,那现在我们name node进程谁起的,是不就是HDFS用户起了,那所以说我们就应该将其所有者改为HDFS,那权限呢,我们按照要求去改就可以了啊好,我们继续往下走,那下一个路径呢,是tmp啊,那tmp的所者也应该改为hfs,那所有组呢,改成那这个呢,是我们要改为的权限啊好,接来往下走,下一个呢,哎,是哎,User这个路径啊,User这个路径它的所有者,所有组呢,也是HTFS和hi do。那这个呢,我们要改为的权限啊好,那接下来我们继续往下走,那下一个呢,是一个与雅安相关的参数,对不对。当然这个参数呢,它会指向一个路径啊,指向哪,指向HDS上啊好,我们来看一下这个参数所指向的路径,哎,存储的是什么内容啊,OK,简单看一下雅点node manager,然后点remote log DR。
02:03
啊,那像这个参数它所指向的路径保存是啥?给大家简单解释一下啊,大家都知道雅安呢是有一个日志聚集功能的,没错吧,那日志句功能会干啥呀?是不是会把我们的每个map应用或者是其余应用啊,在node manager运行的时候产生的日志收集到HDFS的一个路径上啊,对吧?那这是不是就是日志聚集功能?OK啊,那实际上这个参数所指向的路径里边存储的就是存储的就是我们收集过来的日志啊,OK啊,那这个路径呢,我们需要将其所有者改为雅安,所有组呢改为海渡吧,那这个呢,是它的访问权限啊,好,我们继续往下走,那下边呢,还有两个路径啊,那这两个路径呢,都是与历史服务器相关的路径啊,大家都知道,历史服务器呢,它会在HD上边去保存我们雅安提交的所有的应用的执行记录。对吧?啊,那这儿为什么会需要两个路径呢?啊来我们分别看一下这两个路径啊,先看下面这个,下面那个呢叫做job history,点但点R,那上面那个呢叫做job history.immediate d。
03:13
啊,那这个里放的是什么?放的是已经完成的应用的记录啊,那上面这个immediate里呢,存放是正在运行的应用的记录,那当这个任务运行完成之后呢,诶也会被转移到但D里边,OK,那这两个路径呢,它的所有者和所有组呢,都需要改为map和啊到后边呢,就是这两个路径的访问权限啊,我们按要求去改就可以了啊好了,那这个呢,就是我们需要去修改的HD上边的所有的路径啊,以及其所属者和权限啊好,那现在呢,我们就实际的去操作一下啊在操作之前啊,我们先来思考一个问题啊,就是我们现在这个HDFS呢,已经启用了S安全认证了,对吧?啊那我们现在一个用户要想访问HDFS必须得先干啥?
04:03
必须得先认证才可以对吧,那我不认证的话,那能访问S吗?这个肯定是不能的啊,我们可以来看一下,比如现在我我是不是没有进行认证对吧?没有认证,现在呢,我执行一个hi豆FS,然后杠LS来一个斜线,那相当于像查看一下我们跟路径的内容,对吧?向我回车。大家看我们能访问吗?现在是访问不了对吧,为啥呀,这已经说了,说我们的客户端呢,哎,未经过认证没错吧?啊,那我们要想访问那就必须得认证啊,那我们要认证的话,应该认证为谁呢?啊,那由于我们一会儿呢,需要去修改这么多路径的所有者和访问权限,对吧,而且这里面呢,包括了跟路径啊。那所以说我们现在认证就必须得认证为一个HDS超级用户才可以啊,那超级用户是谁,是不是就是HDFS。那所以现在呢,我们先得有一个HDFS用户所对应的科S主体才可以,没错吧,啊好,那这个呢,就是我们创建科主体的一些命令,那现在呢,我们去逐个的执行一下啊,那首先我们先看这个来CTRLC拿过来。
05:05
大家看一下啊,那这个是不是就是在创建一个叫做hdfs hi do的主体啊,对吧,接下来我们回车,那完了之后呢,需要我们输入密码对吧,我们给它输入一个密码啊,然后呢,再重复一下。回车啊好,大家注意观察,那现在这个主体是不是就已经创建出来了,对吧?那创建出来之后呢,我们需要干啥?是不是需要认证,那认证我们前面讲过怎么认证,是不是使用K这个命令认证就可以了,对吧?那现在我们CTRLC诶执行一下这个认证的命令来回车,那现在提示我们输入密码,诶HTFS啊好,那现在呢,我们就已经完成了认证了,我们执行k list查看一下啊,那大家看我们现在认证的主体是不是就是HTFS,那认证完之后呢,我们就可以去修改这些路径的所有者诶所属组以及访问权限了啊好,那接下来我们往下走啊,那下边呢,就是我们修改这些径的所有者和权限的语句啊,我们现在逐个的执行一下,我们先看第一部分啊,那第一部分呢,是不是就是修改跟路径tmp以及user路径的所有者,所有组及访问权限呀,对吧?那现在我们把这些命令呢,给它粘出来,然后呢,处理一下啊来CTRLC,然后打开lime啊来我们把这个命令放进来,把这个前缀去掉啊来往下走。
06:17
好,那现在呢,我们把这个命令的CTRLC拿过来到hi豆102执行一下啊,那由于我们现在修改的是HDFS的路径啊,那所以说可能比较慢,大家稍微等一下。呃,那最后呢,我们还得再按一下回车。好,那到现在为止呢,我们就已经把前三个路径改完了啊,那下来我们继续往下走啊,那下边一个参数是谁看一下。下面这个呢,是雅安点not manager.remote log dl啊,那这个参数呢,它是位于雅安这个配置文件当中的默认值是t logs,那我这儿呢,并没有去改这个默认值啊,所以说我这儿直接改这个路径就行了啊然大家呢,最好去查看一下自己的雅文件,看一看这个路径自己有没有改啊,一定要以自己的实际情况为准啊好,那现在呢,我直接把这两条命令粘出来,然后执行一下就可以了,来,CTRLC,那我也是放到102去执行来。
07:11
粘贴一下。好,那这个路径也改完了,我们继续往下进行啊,那下一个路径呢,哎,就是medu job history server,然后呢,以me done d这个参数所指向的路径啊,那这个参数呢,它位于这个文件当中,那它的默认值呢,是这个路径。啊,那我这儿呢,也没有去修改它的默认值啊,那大家最好呢,也是根据自己的实际情况去查看一下这个文件,看看这个三字到底有没有改啊,OK,那现在呢,我们去修改一下啊,那然后这个路径呢,它要求有点多啊,那我们不仅要改这个路径,我们还得改什么啊,大家来看一下,我们还得保证诶,该路径的所有的上级目录除tmp啊,那它的所有者均为,那么所有组呢均为,那权限呢为770。
08:02
啊,那现在呢,我们就按照要求去改一下就行了啊,当然我们现在需要把这些命令呢,全部给它拿出来,然后处理一下啊好,那现在我们复制一下啊,来CTRLC把它放到slim里边来,我们把前面这个前缀全部去掉啊。来,往下走。好了,那现在处理完毕,我们CTRLC给它粘出来,然后呢,再嗨杜102给他执行一下就可以了。来这个执行的时间可能比较长啊,咱们耐心的等待一会儿。好,那现在呢,都已经执行完毕了啊,那现在我们继续往下进行啊,现在呢,我们只剩下最后一个参数对吧?啊,那我们看一下最后一个参数是啥啊,这就是历史服务器的那个D对吧?啊OK,那这个参数呢,也位于map right set这个文件当中啊,那它的默认值呢,是这个啊那我这儿这个参数呢也没有改,那所以是直接使用它的默认值就行了啊好,那在这儿呢,也有一个要求啊,那要求啥要求该路径的所有上级目录也是除tmp啊,那它的所有者均为ma,那所有组呢,均为权限呢,也是770啊那现在呢,我们把下面这个修改权限和所有者所有组的语句呢给它拿出来,然后处理一下,然后再执行就可以了,来CTRLC。
09:17
哎,CTRLV,那我们做一下同样的处理啊,把这个前缀去掉,来往下走。来给它删除啊。好了,现在呢,CTRLC给他拿过来,放到102执行一下。啊,这个时间呢,可能也比较久,我们也是稍微等一会儿啊。好,那最后一个参数的路径我们也改完了啊,那到现在为止呢,我们需要修改的这几个路径呢,就全部都完成了啊,那下一节呢,我们就可以准备启动雅安了。
我来说两句