00:00
好,接下来呢,我们来配置一下这个海德果集群,配置海德果集群啊,之前首先还是要啊,再次看一下这里面我们102 103和104上分别都要安装哪些图件,哎,那这里面首先name note 102对吧?哎,然后这个secondary name not 104 resource manager在103,哎,历史估计呢,我们这里面配置一个粒子估计在102上。啊,先在心里面要有数啊,有这张地图,然后呢,我们就按照这张地图进行一个相关配置,好我们来配一下吧,哎,首先第一个呢,配置的是这个置那址我们这里面啊name note在102上。那当然在你的配置文件里面就要有所体现,在102,哎,这里端口用的是9000啊好。同样呢,这同时呢,我们在这个里面还要配置这个未来data not和name notde数据的一个存储根目录啊,它是一个根目录啊,那这里面我们配的是D,我们配置到哪了呢?哎,配置到这个OBD model下面,然后date啊,后面呢,在这里面会放到什么DFS啊,然后呢,Name not和did n和DN,好,嗯,那么来配一下,把这拿过来啊。
01:31
好,进来O插入进来。粘贴哎,粘贴的时候一定要注意哈,注意这里面啊,别粘错了啊,粘贴错了,在这个con目录下啊,Con什么录下行,那第一个呢,我们就要搞定了,那接下来看下一个配置。接下来下一个配置呢,我们是配置一下这个hideop inv,对应对应的修改一下Java home哈然过来。孩子。因为。
02:01
OK。往下找,找一下对应的Java home。搞定。好,那接下来我们看下一个配置啊,下一个配置呢,是配ADS set h JD FS,这里面我们首先配的第一个,第一个参数呢叫副本数呢为一,默认副本是几个。啊,13个啊,记住13个,那这里面为什么配置一呢?啊,就是因为我们这个102103104自己的这个,呃,资源就是存储空间相对来说要少一些,而且自己做测试嘛,没有必要保存这么呃三个副本增加你那个磁盘嗯压力哈,那这里面我就配置一个。行,那下面呢,还有个呢,在104上,我们要配置对应的secondary name not,哎,To,那这里面要说指向啊,哎,10450090啊。拿过来。
03:02
打开。OK,搞定搞定之后再再往下走,下一个配置呢,是配置对应的雅n inv啊,雅因V,哎,配置相关的inv啊,就是修改它对应的环境变量啊,重新配置环境变量啊,这里面我们配置三个因为。Hi多,嗯,这个,呃,上面是hi多,因为还有对应的雅安,因为还有麦瑞的,因为哈来。YM加NEV加C进来。进来之后找Java home这。粘贴OK搞定搞定之后再往下找下一个呢,我们配置一下雅n site,那雅site里面我要配置哪些信息呢?那第一个第一个要配置的是note manager,下面我们要采用哪种方式进行后续的一个数据获,哎,这里面是采用suffer的方式啊,进行数据的处理啊suffer,那再往下这里面resource manager我们配置在103上,哎,就通过这个属性,主机配置在103。
04:22
通过它那下面还有一个呢,是对应的日志聚集功能。这个是日志保存多久哈?日志聚集,那日志聚集怎么理解?我们在102 103 104每一个节点运行的时候,都会产生对应的日志。日志对吧?哎,那我们需要把这个日志啊收集起来,放到一个HDY路径,这样的话就方便我们去访问对应的日志信息,是这样一个功能哈,我们就把它配了,那行拿过来。这是雅恩赛。
05:02
OK,那行,那接下来我们再往下看,亚塞配完下面我们来配一个第三个,因为就是map right,因为仍然是配置它对应的环境变量。好,进来往下找。OK,好,搞定搞定之后再往下,下面呢,我们来配置一下map map right,它认是map site,点叉ML后面有一个templ,相当于是一个模板的意思,你需要把这个名称啊,啊修改一下,修改成对应的map right site啊,然后再进行修改啊,那行,我们先把名称给它了。在这呢,Map一下,Map好map把模板干。
06:03
这vm map推出来啊,YM map right set进来,进来之后呢,在这里面填上对应的配置信息,那配置信息我们来看一下有哪些信息啊。首先第一个哎,我们要采执行麦尔六的时,麦尔六程序的时候采用哪种啊,这个计算引擎,我们这里面用的是这个盐啊,用盐来调度住源,默认情况下呢,是这个logo啊logo。啊,那再往下,下面呢,还配置了历史服务器,哎,历史服务器用啥用啊,你执行完任务之后,我想查看这个任务的运行情况啊,它的一些参数,那这时候呢,我们就需要运到历史无器,帮你把这个执行的任务的信息记录下来,否则的话,你这个任务一执行完已关闭掉啊,对应的参数呢就没有了哈,那行,那这里面我们配置历史服务器呢,放在102 102对应的端口号呢是1988。哎,这个是可以指定的啊,你可以指定在103104105都行,对吧?哎,这里面我们是102拿过来。
07:11
好,搞定这个搞定了,搞定之后还有一个配置文件叫slave斯,好,它这里面呢是配置,你有几个date note节点,那这里面呢,我们有三个啊,HIOP102 hiop103 hiop104啊注意这里面不允许有空格,也不允许有空行,这都是错的哈,因为它会作为未来我们启动。脚本里面的参数它会获取这里面,哎,孩子销量,如果你加了一个空格,它会认为孩子威104空格是一个主机名称啊,或者你要再敲一个回车呢,它会认为一个空行是一个主机名称,这都不是我们的本意,哎,都会报错啊,回说要注意行,那这个也配置完了,那配置完之后呢,我再往下走啊,往下看这个呢,配置完,配置完之后呢,下面呢,我们进入到这个分发环节啊,也就说这个102上的,102上的这个hi度op和对应的JDK我们都已经配置完了,我们需要把它它分发到对应的102和164,那分发呗,我们正好有这个分发脚本,对吧?嗯,Hi doop,行。
08:21
哎,有脚本就是快。哎,好,分发完毕,我们再发一个。
09:03
幺三检查一下啊c model对吧?这里面有了,哎,这里面也有,那他有了并不代表说它就能够用了啊,我们还有一个内容没有分发谁呢?哎,JDK的一个啊,这个环境变量啊,环境变量,环境变量怎么分发呢?你直接用这个SSYC啊,它分发不了啊,那我们需要加上五目SS这样去指定,指定之后,然后ETC平。点D,然后呢点CH要速,我们这个root。输入用户名,密码,输入密码六个零,再往下连接六个零。Yes。
10:09
好呃,那我们来看一下是否分发完成啊,那我们正常啊速度为c.DDV进来对吧?哎,现在呢,这里面是有的啊,有的有的之后啊拿过来它不一定能用,比如说你看我打一下这个胶va。下,然后敲一下Java对吧,哎,整个这个集群就已经安装完毕了哈,那这后面呢,还有一个文档上啊啊还有一个啥呢。
11:01
呃,还有这个启动集群对吧,哎,对集群进行一个测试。那我们来简单的这个启动一下集群啊,启动集群第一次启动必须要进行一个格式化BJS内not杠对吧,来到102上排度法BAJS。Name。好,格式化完毕之后,我们启动一下sb start dfs.CH。这是启动name node和data note,它启动完成之后啊,我们可以来到这个103。拍B啊star star到延点CH,哎,等待这102启动完毕之后我们再执行啊。
12:01
稍等一下。好,启动完毕之后再启动。哎,好,那下面呢,我们来查看一下对应的每个节点进程name弄的啊,这弄的name弄的弄measure没问题,再到这103GPS。有manager manager这弄的104GPS。对应的not measure,这个day no secondary name node,对吧,然后你对照一下你对应的这个集群资源。对应的你的这个技术规划啊,来看一下。对吧,哎,跟我们规划的内容一样啊,这历史无尽,我暂时先不起啊啊,如果你集群资源比较呃差一点的话,我可以先不起,等你后面用到的时候呢,我们再把它启动起来啊行,这就是整个嗨多宝集群的一个搭建。
我来说两句