00:00
好,接下来我们来实际的一个部署一下我们那个屋子啊,刚才说了这个屋子啊,它跟其他的一个框架联系的一个紧密度非常高,非常高,所以呢,我们在部署这个屋子之前啊,先要部署一下这个。CDH版本的一个哈宝啊,CDH版本的一个哈多网,那这块我快速部署一下啊,然后整个当中它也有很多的一个注意事项,大家注意像那个CDH版本的,之前不是说你要用阿帕奇的,不要自己做兼容嘛,对吧?CDH的它不用做兼容,是因为你只要统一的CDH的一个版本,这后面写的是CDH版本的,然后前面是你框架的版本,看见没。这个是哈度堡,也就是说5.3.6,它里面集成的哈多堡2.5.0。2.5.0,然后屋呢是4.0.0,然后那个H杯子应该是0.98,我好像记得们就这样,他把一套这一套都给你做好了,诶做好了,然后里面那个架包呢,会相那个兼容器也都做好了,也都做好了,就不用你去什么重新编译啊等等,不用做这些事了啊,不用做这些事了,OK,然后这一块我们等会要安装的呢,核心安装的是这两个东西。
01:12
这两位,但这四个加包都要,呃,这个加包的还好,这个加包是什么。也就是说这个东西啊,没有。添加这个压缩,那这块怎么知道怎么添加,知道吧,直接把这个解压出来,拷到那个什么native native下吧,哎,什么点so文件拷过去就行了啊,这块你做不做都无所谓,因为我们那个CD版本更重要的是跟屋Z的一个结合,而不是说看他的一个压缩啊,压缩那块阿帕奇那块也讲了嘛,但是如果说公司当中你要自己真的自己的环境的话,那这块也提供给大家了,不用大家去找了啊,还有这个。嗯。这是一个JS框架,就是我们为了发布这个屋项目。发布部的项目要用的啊,一个JS框架,那首先我们把这些东西都考进来吧,就是我我只考这三个。
02:04
这个第三个,因为我们等会要用的啊,等会要用的,我考这三个OK。因为我好像刚才看了一下没有P,然后CD到D不到。啊,这三个东西。进来,这个包确实挺大的。他为什么那么大,等会看一下那个解屋内解压出来你就能看到了,它里边有很多很多其他的一个账号。因为他要跟其他的一个框架做兼容啊好,然后这个地方。嗯,有了吗?5Z进来了吧,然后我们的哈度宝2.5.0也有了,OK,那我们先去建一个CD到d model,嗯,Make d一个CDHCH啊,专门我们把这个CDH呢放在这,放在这啊就不跟其他的混淆了,不跟其他的混淆了,专门放在这里边,对里面应该也有一个什么ha对吧,那你就相对来说有独立的三套哈度机器了,到时候等这个讲完之后,那我们解压一下top-ZXVF,然后这个哈多2.5.0解压到op model,然后CDH啊CDH走一下。
03:27
这个包就比原生的阿尔法奇的要大得多了,因为他要做统一的一个管理,统一的管理它添加了很多的一个内容,做了一些更改。然后呢,这样我把这个CD到哈多里边CD到。ETC,嗯,度,因为我们需要里边的一个配置文件,大部分配置文件都一样的啊,需要动的呢,我们给大家提要动,OK这块检验完了,然后呢,我们把这个也检验一下,它杠ZXVF。
04:04
然后屋子啊解压到。OB model,那这个UZ,你解压到model,或者说CD这个都无所谓了,因为你之前也没有一个什么延伸的UZ吧,就没有什么一个冲突,没有一个什么冲突。就一并解压了,一并解压了。它里边这个价包比那个哈维要更多一些。OK,那五点也检查完了,检查完了之后呢,我们就去来配置一下我们的一个什么。哈多宝啊哈多宝原生就是CDH版本的一个哈多宝,那这样当前我这个目录是我们之前那个吧,哎,我会用这里面这个配置文件,然后我改配置文件呢,我在这改。啊,就是说我那个什么CQT那边是原生的阿帕奇的,然后这个地方呢,我打开的,我会同时打开两个配置文件,为了不让它晕啊,因为我要拿那个配文件。
05:02
我们进到这个CDH,然后CDH。ETC,你看它里边就有相应的多了一些吧,啊多了一些内容,那我们那个配置文件还是在这个哈下啊同样的哈多堡OK,它里边配置文件还是这些还是这些,OK,那我们这里边要改哪些东西啊。把这个都关上,这些东西对我们都没有用。Env得改一下吧,我们把这个Co啊,我们从这往下看要。然后还有。哈烟薇啊哈烟OK,然后还有一个一个看一下。我要看里边要改一下。得改名字对吧,那个得改名字,那没关系,我们先可以得改一下啊,这个in里面的改的都是加va home嘛,改的就是加加va OK,然后set。
06:12
这个到时候我们改完了之后还得改个名字吧,啊,因为它是time的,OK,然后。还有。因为总共有几个。还有一个雅安,还有这两个东西没打开吗?雅安因为跟一个赛。你看哈多,我其实配的文件呢,还是挺多的,阳下的OK啊这个东西,然后我们把这个env啊,先把它挪到一块去啊。雅因为三个因V,然后四个set加一个LI8个文件嘛,哎,总共这八个文件,OK,因为我们先来艾一下。到了加号。把这个拿一下。
07:03
好。然后加后,其实这个地方你不改也可以吧,哎,它是引用的对吧,你只要配了那个总体的环境变量就可以了,OK,第一个搞定了,CTRLS保存一下,然后把这个关掉,慢慢的因为把这个解开。复制一下,把这个替换掉。再保存下,然后因为里边也有一个交号。把这个替换一下。好,那in为呢比较简单啊,因为比较简单,OK,就是改几个账号,然后post,那我们里边要配什么。把原来的拿过来,拿过来之后要改一下。这块切记。改一下这个。改一下这个,然后我们把这个也动一下,我改成8020,为什么要改成8020呢?就是因为我们现在是不是有很多这个哈多韦的集群啊,对吧?哎,我们现在哈德集群比较多,如果说你都用9000的话。
08:09
你起来了之后,起来之后你在这个页面,你不是要看那个name no的那个地址吗?然后他写的是9000,你不知道你起的哪个。这块很容易起错,起错集群导致你任务肯定是起不来的,因为你用的集群是不一样对吧?啊用集群不一样,所以说这个地方呢,我们做一个区分,这个端口号改成8020,到时候你要启动了,启动了哈以后,然后你从那个什么50070那个端口去查看哈,查看到9000呢,你就知道你起错了。因为你这个地方改成了8020嘛,那你写的肯定是CDH的,它端口号肯定显示的8020啊,所以帮助大家排错,帮助大家排错啊,就是说大家也用那个80208020 OK,这是第一个地方,第二个地方,这个地方要改一下啊。要加一个CDH,然后这个路径。
09:03
CD到OBD model,然后CD,然后把这个拿一下。这个东西切记要改啊,如果不改,等会我们机群是不是要重新格式化,你这个目录以前的东西全没了,什么还还辈所有的数据全没了,就新的新建了一个集群嘛。这是切记的一个地方。这个地方要注意的就是你搭集群的时候,这个地方一定要改,你不改就完了,就你之前的集群,这真的完了,之前群用不了了吧。就等于重新格式化了嘛,啊,重新格式化,所有的什么have还被那些数据都丢了啊都丢了,所以说这个地方我们改一下,改一下OK,然后除了另外还要配一个。在这个cos里面配这两个东西。这两个东西是什么呢?来给大家看一下,就是目前我们屋子是不是要干什么。
10:01
来操作这个还是这了吧,因为你要整个的调度这个任务。要操作还是DFS,然后这个呢,是配他的一个代理,就允许屋Z来操作。允许来操作,OK,这个地方要注意的一个地方,就是这个地方写你的。啊,用户名啊,这个地方用你的用户名,用户名这个地方啊,然后我在文档当中呢,也标红了,然后这个地方是写你的主机,就屋子安装的主机。安装主机,但是你也可以用新来代替啊,新来代替这个是哪哪来的呢?看一下documentation对吧,Documentation是它一个文档嘛,然后这有个quick star快速开始点进来,这不是。安装和运行吧,对吧,安装和运行点进来在这往下走,这是安装的一些什么。基本的一些环境,这个是building屋啊,Building屋这个地方是通过说你解压或者说呃,直接从延安样仓库里边把它下载下来也可以的,然后真正的来安装是这块,首先呢,安装是在这后面啊。
11:12
这块。配置什么哈杜集群的一个屋Z进程的一个代理,OZ进程一个代理,那这一块它标出来了,是不是你要写你的一个serve user呀,哎,你写你自己的用户名就行了,然后这个是你无Z的一个主机名。UZ的一个主机理,那这块呢,我们直接两个呢,这一个是组,一个是主机,那这块都配成锌啊,都变成锌啊,这是没有问题的啊,那没有问题的啊好这两个东西啊,切记要配上,一定要配上的这两个东西。要不然你屋队根本就没没办法来调度整个的一个哈多集群了,哈多集群OK,这这块好cos就搞定了,扩搞定了S同样的看了一下。
12:00
还是DF赛,然后把这个拿一下。而这亚赛的倒还好一个。这两个东西给他。弄下一个副本一个三弄的啊,其他的东西呢,也不用动啊,这块就跟之前一样啊,之前一样,还有一个看一下。OK,那这个里面呢,东西呢,也还好啊,没有什么太多可动的。一个是指定到。亚运行,亚运行,然后是这个地方切掉,配上这两个东西。之前我刚来的,刚到你们班讲课的时候,就要求大家把这东西配上了吧,之前你们应该是没配的是不是,哎,把这个东西一定要配上,因为你看一个日志,你需要的到屋Z这块呢,更需要了,因为屋子啊,他最终其实他把这个任务调度啊,是交给雅安来管理的。
13:04
他把任务也是提交给雅安的,所以说你任务出错了,你要看日志还是只能去哪8088端口,然后看他的一个历史日志,历史日志,所以说这个历史服务器啊,你必须给配上,然后同时你还要把这个历史服务器给启动吧,啊这个东西要配上,OK,那等会我们还要切记一下,就ma red那个还要改个名字吧,刚才我名字没改对吧,然后还有一个杨赛的开玩笑。Set这个里边我们配的东西比较多,然后我们只拿一些就行了,拿着拿到这个地方就够了。下面是关于资源的,还记得吧,当时给大家添加两个,还有说检查内存啊。啊,这块的一个内容,当前我们这个题型呢,不涉及到这些内容,所以我们只拿前面这些啊就够了,啊前面是哪些呢?看一下,首先是一个获取数据的方式,通过杀,然后是resource manager的一个地址,然后这个是。就是你刚才服务器虽然开启了,但是你要把日志聚集给开上了。
14:04
要不然还是看不到日志对吧?啊,就是日志具体给开上啊,给给给打开啊,这个东西才可以的啊,才能有效的OK看再保存一下,最后这个就简单了,写下好多好多三。啊,多宝104104放S再保存一下,OK,那这样我们那个CDS版本的基本的一个什么安装。就没了,安装就结束了,那接下来我们要启动的话是不是。要分发一下呀,对吧,XSYC,然后这个把这整个的CDH文件夹给发过去,因为我们里面写的整个的一个目录是不是CDH这个目录啊,对吧,走一下。那启动的时候等会也有注意点啊,就是启动的时候你这块切记切记不要用你以前的习惯了,你以前是不是直接写什么大的大DFS啊,对吧,这一块你一定要加上一个,因为你不加的话,它起的还是。
15:10
你之前的能懂这个意思吧。那这块容易出容易起错呢,所以说我里面端口号改成了8020对吧,你进到网页50070那个打页一看,你一看8010端口,或者说看到9000端口,你就知道你起的是哪个集群了。啊,所以说做一个区分啊,这块确实容易错,有时候敲着敲着忘了,因为之前习惯上都是start-DFS start杠啊,没有加这个什么SSP啊等等这些操作,所以说呢,就是把端口号给它区分开啊,区分开但是这个是可以区分开之后,你看到之后可以回来改的吧。就什么命令的时候一定要切记啊。格式化的时候这个是不可以回退的吧,对吧?啊这个要注意啊,格式化的时候切记要加一个什么并目录,一定要把B这个东西加上,是不是你之前格式化是不是哈多好。
16:05
然后杠SD或者hard都行,对吧,然后杠name not杠吧,哎,这样的一个东西,这个东西你切记要加上宾号,你不加B,你说你后面起哪个起错了,起对了。都无所谓了,反正你也是格式化新的了啊。这比较大发两的还挺还挺慢的是吧。好,我们得开一个103等会,要起那个牙,103应该放完了,OD摩CD到CDH的,好,这三他也完,他里边呢,就是东西要多一些了啊多一些了。然后这块我们先要干什么,格式化对吧,格式化是B,一定要加B啊DFS,然后not的杠我妈下。
17:07
好这块其实在这一块格式化完你就能。这个路径嘛,一定是我们新的路径嘛,如果说你格式化老的,你中间会提示什么Y啊yes啊,那你赶赶紧。否吧,不要让他重新,因为它那个问你是问你什么呀。是否需要重新创建?整个的目录吧,赶紧你看到,只要有任何提示赶紧敲出来,就说明格式化错了,不是格式化的CD的啊,你要切进啊,那格式化完了之后启动就简单了吧,启动sb start b fs.sh啊,它的命令都一样啊,它命令都一样OK,那切记就是前面要加一个。前面加,然后这边起亚嘛,同样的也是S大的雅安点S,如果你不加S病的话,他起的就是老那个牙了,老群那个牙了。
18:07
三弄,然后我们还要起一个。History对吧,History start,然后history好吧。把相关的进程啊都启动了。这些东西OK,然后再来这看一下。好的,我教练同样的访问地址还是50070对吧。嗯。嗯。初始化这么慢吗?这个底下太啊,只有一个time OK,它这个欧瑞的怎么看不到,这样我清一下缓存啊。因为跟之前的那些东西应该有关系。
19:02
啊。颜色应该变成蓝的,对,因为有缓存吗?等会你看一下下之后,对你们都装过那的是吧。没有装过,那那怎么知道男的呢?拆的?这真的能猜到吗?这太假了。删一下缓存啊,然后我把这个重新开一下。这都能猜到,蓝蓝色都猜到,等一下可以。对吧,蓝色的CD版本的,这都能猜到神了是吧,然后你看一下,就是你们启动之后0070端口看这。8010嘛,如果说你里面配的8010,但是这个地方写示9000说明什么,集金写错了,集金写错了啊,立马能感觉到,所以说这个第一第一块呢,就帮大家排,排不错,排不错是这样的,那你看到这个东西呢,就说你的这个CD版本的一个什么。
20:05
哈度就安装完了,哈度就安装完了,这块其他的一个东西都一样,这都弄走三台也都服务的对吧。服的,然后这个里边只有一个太太。嗯嗯。
我来说两句