00:00
好,接下来呢,我们来看一下集群的一个配置。比如说前面呢,我们的准备工作也做的差不多了,那现在我们集群处于一个什么样的状态呢?看下这张图。那这张图当中啊,102103104上的JDK和hideop都已经独立的安装完了。那问大家一个问题,新在我102上的hioop 103和104,它们之间有关系吗?你说有关系吗?好像没什么关系,对不对,而且我们说hi有什么HDFS。有雅恩。那他们之间是怎么配置的,我这里面有说明吗?目前都没有对吧?哎,那我们需要让这三台机器之间建立好相关的规划。那么来看一下我们现在啊,要求我们的集群搭成这个样子。哎,打成它这样什么样呢?102上安装name note。
01:04
还有note manager。那还103上对notde result manager not manager 104 second name notde day notde no manager,那为什么要这么规划呢?那这里面有个原则啊,首先第一条,Name note和secondary name notde不要安装在同一台节点。Name node second name为啥不要安装在同一台节点呢?因为他们两个啊,都比较耗内存。你像这个secondary name node是他的小秘,比如说他干的活,大部分他都干。那么这样呢,就是你需要1G内存,我也得需要1G内存。那我们不如把你俩分开对不对?哎,这个减少集群的压力,那还有一个事儿,Resource manager。是雅安资源的管理者。它也比较耗内存,它不要跟谁放在一起呢?不要跟name node和secondary name node放在一起。比如说那这里面name nodeor manager。
02:02
它们三者之间分开就好了。那当然说我这个海哥,我这服务器资源非常充足,我想把他们三者放在一台服务器上有没有问题,没问题啊,没问题啊,你是土豪啊,没问题。行,那这样的话,我们尽量呢,这样呢,把这个集群耗集群资源的啊分开了。那下面再往下走说呀,Hi do呢,配置文件分两大类,一类呢叫默认配置文件。还有一类是自定义配置文件。什么叫默认的呢?诶,我这里面已经给大家准备好了哈,其实呢,呃,有四大配置文件,因为hi do有四大模块分别对应着common as盐,N map。啊,也是MAP6对不对,你要写代码的话,你是不是也得分成四块啊,因为你本身的核心模块是四块,我想分别配置每一个模块的时候,不就得有一个配置文件吗。那这个配置文件怎么得呢?如果你从官网上下来源码之后,它有一个诶common。
03:01
Car car default a dys a d default,延延,Default maps map right default,啊,那这四个文件呢,就不用大家自己去找了哈,啊,已经提前给大家给好了。在哪里呢?在我的桌面。资料,诶,这个默认的文件,这里面有四个。用它打开吧。是吧,这是第一个。第二个。第三个。第四个好,那这四个文件呢,我们就已经打开了啊,这就关闭掉。那继续往下走,那下面呢,它还有自定义的配置文件,比如说你这个呢,都是默认的配置,那有可能不能满足我们客户的需求,那怎么办呢?还有Co site a set Yan site map right set。那这四个set在什么目录呢?你自己安装hioop的路径ETC hioop对吧?哎,之前在讲这个ETC目录的时候给大家介绍过,那我们来看一下啊。
04:01
c.model刀还毒法。来到这目录,ETC还do。那这里面找到四个文件。ADPS。往下走。眼对吧,还有一个靠靠在上面。哎,这四个文件就搞到了,那行,那继续往下看,那下面呢,我们就来配置一下这四大核心配置文件,那第一个呢,就是这个Co。那Co里面我们要配置什么呢?哎,所有的配置,记住我们都得按照这个集群规划去配置。要不然你配置错了,因为这相当于是制定好的需求,你得按照需求去干事。那第一个,首先我们指定name node在哪一个服务器上。哎,我们这里面说name note在102上,那怎么配呢?哎,就这样里面配说FS default FS,这就是配置的name node内部通信的地址。那看一下它的默认值是多少。
05:01
Call。打开,然后。CTRLFCTRLV搜索。看一下。他默认给的你的一个协议叫啊叫file。斜杠冒号啊,这个斜杠斜杠对吧,哎,这个文件它属于本地路径,由于我们未来要用的是HTFS,所以说我们需要把它修改成对应的HDFS冒号斜杠斜杠。啊,这是协议头啊,是一种协议。然后还多宝102,然后8020是它内部的一个通讯端口,那除了8020之外呢,还有9000。还有个别这个公司呢,是9820。啊都可以啊,但是推荐大家使用的这个8020。那再往下,那下面呢,说hi豆腐数据存储在哪一个目录下。啊,因为我这里面有ADS,它负责存储数据,那未来我存储在哪里呢?那我们先看一下默认值。
06:01
CTRLC。来到这儿,CRLF。搜索。搜索之后发现。这是嗨通,诶,这还不是啊,再往下。这个是。看一下它的配置值呢,说默认数据存储在斜杠temp,然后hioop对应的你的用户名称,那我们用户名称是I硅谷,那就是hioop at硅谷这个目录项,那这个目录行不行呢?啊在Linux环境下,如果你是Linux的这个斜杠time目录,它是一个临时目录。随着时间的变化会把它删除啊,默认情况下呢,是一个月,一个月就会把这里的数据删除了,那你这个集群能行吗?不行,所以说我们这里面要更改一个路径,那么更改到哪里呢?更改到OPT model,还得把3.1.3,然后date,那date的这个目录啊,如果没有的话,它会帮你去创建啊。存储数据。那再往下走,下面呢,说还有一个配置APS网页登录使用的静态用户名,那这个我们可以先不配啊呃,后面呢,我们不配之后看看它会有什么影响啊,后面呢,我再把它加上啊,先不着急。
07:09
嗯,那我们就直接把它配置好呗,对吧。我把前两个配置拿下。VM进来进来之后啊,这是一个叉ML啊。O啊O就插进来,这里面一定要注意啊,一定要先点插入啊,然后右键粘贴,诶粘贴好检查一下,有的时候啊,这个大家粘贴的时候,有的这个不插入哎,直接粘的啊,还有呢,就是这个哎粘的时候不小心粘错位置啊,这块一定要细致仔细。OK,第一个配置搞定。那再往下走,那往下走,下面呢,到了这个as set。它这里面呢,第一个要修改的是name node的web访问端口,比如说刚才啊,我们这里配的是一个name node地址还1028020,相当于是hiop的内部的一个通讯。
08:07
地址。那现在呢,你这个name note它是HDS,得需要让用户在部页面上进行一个访问,比如说你在外部页面就能访问,不需要操作命令行,那你是不是也得对外暴露一个接口啊好,那这里面说的就是它。那暴露的这个接口呢,就是对应的9870。哎,还读1029870啊,以后用户呢,专门访问的是这个页面。OK,那这下下面还有一个tonn,那我们tonn安装在哪台服务器,对应的是104。啊,那我们就安装在三角四层。那这个也拿下。别粘错了啊A。进来诶一定要走到这个这一对标签内部,然后O。好,又搞定一个。
09:00
再往下走,下面呢,来到了这个雅恩啊,雅安赛雅site里面,我们首先配置的是这个。MR走什么协议啊,走什么,那MAP6S,那看一下它默认值是什么。那这是雅安的文件夹,雅安到这。OK。来到这里面,你发现哦,盐它默认是空值,但是它推荐你使用什么map reduce s啊。后面我们会详细讲这个呃,S的里面的核心原理啊,带大家去看源码啊啊,那这里面我们就配置成这个S的方式,进行后续的一个资源调度以及计算。那再往下指定resource manager对应的地址,那我们resource manager是在103上。那这块就指定海103。那再往下后面呢,还有一个环境变量的继承,那这个是有一个小问题啊,是这样。103啊,这个牙。
10:02
那你会发现啊,这个变量它之前也复制了对应的这个值,你看啊,这里面是有值的。我复制出来。这是他系统的值对吧?啊系统值,那我把我们这个文档的也拿过来。嗯。对比发现一下前面的是不是都一样啊,都一样,但是后面我们比它多了一个什么呢?High do map right home啊,然后这个呢,后面这个我们没放,因为我们用到的时候再放,那这个有什么含义呢?因为这是呃,我觉得它是一个3.1.3的一个小bug,因为到了后面这个3.2以上的时候,那这个就不需要再配置环境变量了,而且这个high do map right,这个home也加上了啊,就不会有这个问题,那这个呢,是环境变量的一个继承,那就说你可以认为是解决了一个小bug啊。因为在升级版的时候,你已经找不到这个什么配置了。那雅安赛拿过来。
11:02
点n set打开。打开之后进来DD,删掉O。右键。粘贴。一定要小心啊,反复强调一定小心,因为每个班都同学在这块粘的时候,因为粘配置啊没搞定,那再往下呢,说map的一个配置,那mapce这里面只配置一个啊,说指定map运行程序在雅安上,比如说由雅恩来负责它支援的一个调度,那看它默认是由谁调度。Map right。赶快来。哎,大家以后啊也是啊呃,用到这个配置的时候,先查一下它相关的默认值。它默认的运行是在本地进行运行,那这里面呢,我们可以给它改成雅N。Okay。那这个是map right。
12:08
那这样呢,我们这个map配置也搞定了,那整个集群上,我们诶在102上把所有的配置也是相关ATS的和雅安的都配置完了。那你现在是不是只相当于在102上,比如说只在这儿配转了,那怎么办?我需要把这个嗨度款分发到103,分发到104。哎,那我们现在有一个神奇的脚本对不对,非常强大的脚本。看好了,那我这个拿一边去,嗯。分发ss y nc hi do法走。非常之快速搞定了,那看一下有没有搞定啊,你得验证一下。CDC。进来看一下呗,Co,哎,默认的里面肯定没有这个吧,你看现在都已经改完了,哎,就这么快。
13:04
那行,那我们整个集群的配置啊就搞定了,那这里面需要大家注意的就是认真仔细反复的去检查啊,千万别出错了啊,出错的话呢,它会报一个一般报这个异常啊,会告诉你,告诉你说哪一个文件,然后里面有什么标签啊,有问题,那你就检查一下这个文件就可以。
我来说两句