00:00
啊,那现在我们需要给大家说一下这个,呃,就是我们海豆如何去支持拉泽罗啊,因为拉泽罗呢,它相对来说比较特深,比较特殊啊,海德本身并不支持拉泽罗压缩,要想让它支持,必须得使用推特提供的这个海多拉泽罗的一个开源组件啊,这个在GI har上面是能找到它的源码的啊,那当然你不能只用它源码,你得给它干啥,得进行这个诶编译啊,那怎么编译呢?在这个呃,我们的这个Twitter上面是有相关的这个呃解释说明的,你就来它这个首页啊,在get上面是有相对相应的说明的啊来首页完之后呢,这有什么这个起源对吧?然后边呢,这个啊,什么海杜op and拉泽罗together and last啥意思?海杜op跟拉格罗最终这个这个在一起了,对吧,啊,就这个意思啊,然后下面呢,是这个building and confi green,这是啥呀,就是编译和配置啊,就是怎么编译怎么配置,这里边哎,都告诉我们了,这有相应的一些环境准备,照着做就行啊,然后下面的什么配几个编。
01:00
看量啊,完了之后呢,去来执行一些编译的命令等等啊就完成了,然后这一套东西呢,我实际上已经给大家准备好了啊,不用再看它了,我这样呢,给大家提供了一个这样的啊TST文件啊,就是你需要做什么啊,完事呢,需要去呃下载什么,你就呃都在这儿给大家列出来了,大家照着这个做呢,就能够把这个炸包编译出来,我们最终需要的是一个炸包啊,这个炸包是不是之前给大家看过呀,哪个炸包就是它啊,这就是我们最终需要的炸包,那这个呢,就是我们在get号上边下载下来的那个开源组件的源码啊,拿到源码啊,最终啊,照着我们那个步骤就能编译到这个JA包啊,因为这个呢,需要用到这个网络啊,需要去下载一些依赖,需要去下载炸包,所以比较慢,咱们课上就不演示了啊,然后大家呢,也可以课下呢,也需要感兴趣的话可以做一下,要不感兴趣的话呢,你就直接用咱们提供好的炸包就行啊,是这样的啊好,那咱们接下来呢,就呃演示一下这个呃拉德罗到底如何去进行配置啊,如何配置好,那咱们假如说这个。
02:00
编译已经完成了啊,完成之后呢,我们需要将编译好的这个炸包放到我们海doop的这个路径下啊,是在share hidoop抠门下边啊,需要给它放到里边啊,当然只要放到里边就得干啥。就得分发对不对啊,你三台线呢,都得有才行啊,都得有才行啊,啊那现在咱们把这一步呢,去给它做一下。呃,然后CD到OPT software海doop好先来到这,咱们找到这个炸包啊,然后呢,给它拷贝一下CP到OPT modu海杜好呢,是share海杜common里边对吧,这个诶这个啊没有没有是拷贝谁对吧?啊拷贝海杜拉德罗诶走尼。行,然后大家看一下啊,我们目前这个给大家提供好的这个炸包是0.4.20对吧,大家如果说自己去编译的话呢,嗯,因为你编译的应是最新的对吧?它最新鲜的应该是零点四点呃二一了,好像是啊就是说啊这个名字可能不一样啊,这个大家要注意一下啊好,那现在我们先把这个呃给它呃分发一下XXYNZXXYNZD啊然后呢model海豆吧,然后呢是share啊海豆法,然后common海豆旁拉泽罗点这然后回车。
03:18
诶,三台节点就全部都有了啊,都有了,那都有了之后呢,我们还得在我们的诶,Co side当中去配置一些参数啊,然后才能真正的去使用咱们这个拉色罗来需要配哪个参数呢?这个标红的全部拿过来啊,CTRLC啊,咱们也是,呃,先给它放在哪呢?先放到咱们的102上面啊,这个I一下CD的OD,这个model,然后呢,海多港ETC海多,然后vm Co s,注意是Co。然后往下拉,往下拉拉到这个位置,然后按一下中间,好,那给大家解释一下,咱们这几个参数都是什么啊,首先先看第一个IO com,呃,Compression口袋,这个口袋是啥呀?Co是什么。
04:03
这其实也是两个单词的这个简写,跟之前咱们对,跟之前咱们解的讲的那个什么呀,Ser de其实也一一样的,Scr de是什么?是序列和解序的对吧,那这个就是啥,Comr和de price就是压缩和哎这个解压啊,压缩和解压就是这个意思啊好,那下边相当于给它配上了我们目前所支持的这个所有的呃,压缩和解压缩的这个格式啊,那实际上我们这边主要加上谁就行了呀。主要加上它俩就行了,你看其实都能看出来啊,你看前面这个这个东西都是什么,都是ORGFT海doop里边的对不对,然后下面这个什么com点海豆op comp啊,像际这个从这也能看出来,这个是不是我们海多原生就能支持啊对不对,这个相当是我们引入的其他的组件,第三方的组件啊,好,然后大家看一下啊,你看我前面s snap,那我就一个s snap就完了,对不对,那GZ吧,就一个GZ吧,是不是就行了,但是关于拉泽罗我这有俩。
05:00
一个叫做拉子罗口袋,一个叫做拉兹罗P口袋,对不对,他俩有点细微的区别,实际上呢,我们大家前边呃,对拉子罗的这个印象啊,就是咱们回忆一下拉泽罗有什么样的特点呀。快,谁更快一点,谁谁更快一点呢?此内更快对不对?拉德罗的优点是什么?是支持切片对不对?支持切片对吧?啊,所谓支持切片指的是什么。能理解不,这个假如我这呢,有一个大的一个压缩文件对不对,那然后我有我现有一个MR,我需要去读取这个文件啊,对不对,那所谓的支持切面就是什么?就是我可以有多个map克去跑,对不对,那不支切片呢,就只有一个map克是不能切片的,对不对啊,那拉塞罗的是支持切片的啊,那实际上啊,呃,那个所谓的拉泽罗芝士切片的那种压缩格式应该是谁呀?不是拉泽罗是谁呀?是下面那个拉斯罗P啊,实际上这个才是我们大家熟悉的那个拉斯罗啊,啊,这才是咱们熟悉的,它是支持切片的,然后上面这个是什么呢?它也是一个压缩格式,但是这个呢是不支持切片,也就说拉德罗和拉德罗P呢,是两种压缩格式,这个大家得搞清楚,那我们要想让它支持切边得用谁得用下边那个一定得搞清楚啊,这个别忘了啊好,那下来再看下边,下边还有一个参数啊,这个参数呢,呃,这是我们,呃拉泽罗这个压缩合适要求我们去配的一个参数,这个必须得配,然后这儿呢,必须得写拉泽罗,不能瞎写啊,这个就要按照它的要求去配就行了啊好,那这就是我们关于拉子楼的这个一个配置啊好,完事了,那这个完之后呢,我们需要将这个文件也得分发一下,对吧?啊,也得分发一下啊。
06:43
那接下来咱们给他分发好,X X y c Co走你。好,分发完毕了啊,那这个分发完毕之后,那我们的集群需要怎么样重新启动啊,重新启动来stop d fs.sh好,那这边103我们也得延,也得重新启动stop,延点SH。
07:05
好,那把这两步做完之后呢,我们相当于就完成了这个集群的这个拉子罗配置啊好,我们再重新启动起来磁带了,然后这个DFs.SH把这边的磁带连。高两点不对。好,那等它启动之后呢,就相当于我们的拉泽罗就已经配置完毕了啊,就配置完毕了啊,那我把这个视频先录一下。
我来说两句