00:00
好,接下来我们来看一下,哎,开拓拉住罗压缩相关的一个配置。那为什么要配置蜡烛压缩呢?啊,首先呢,是我们在出商项目后面的这个分成当中要用到对应的压缩,那同学说那你用就直接用得了呗,哎,那其实不能直接用,因为hidoop它本身呢,它默认不支持蜡烛的压缩。啊,这个要注意,那还度它支持什么压缩呢?哎,支持这个GJ,也支持这个b two,哎相关的压缩啊,那要想支持的话,那你有两条路径可以选择,一种方式呢,我是编译hi度源码,让它支持对应的安卓压缩。那还有一种方式呢,我不编源码,我可以编译这个官网上提供了一个插件,那这个编译完这个插件,然后上传到海子金当中,诶可以用这个插件对相关的一个压缩操作进行处理也是可以的啊,两种方式都行,那这里面呢,我们采用的是这个插件的方式啊,那这个插件呢,你从官网上下载下来之后,你需要对它进行一个编译,这里面给大家详细的一个编译步骤。
01:03
啊,这里面呢,就不再赘述了,啊,这个插件呢,我们已经提前编译好了,那这个插件在哪呢?在我们。哎。哎,这里面这里面有一个嗨杜吧拉罗啊杠0.4.20这个价包,哎,它就是啊编译好的哈,那编译好之后我需要怎么做呢?哎,需要将它上传到一个位置哪呢这个位置。Hi 3.1.3啊塞目录下hi doop common,哎,放到这儿啊,后续呢,就可以进行使用了,那好,那我们来放一下啊,首先把这路径给盯上。那我们就木移动开杜拉着罗。对吧,然后放到呢,是对应的OBD model hiop啊,然后下目录hiop。后面走。那么接下来我要进到这个目录查看一下是否他已经放好了。
02:03
OK,那这里面就有了对应的这个价包,那有这价包,现在啊,我只是在102上有了对应价包,我还需要让它在103和104上也有,那怎么办呢?SSVNC,然后hi doop。拉着罗走。那这样呢,就已经分发完毕了,那分发完毕之后,接下来我要做什么事情呢?你光有这个加包还不行,你得让这个配置文件啊,知道我支持对应这个拉入压缩,我只能找到,那怎么找呢?你需要来到这个cos的配置文件里面,哎,配置如下两个参数。哎,这两个参数就可以。那这两个参数什么含义呢?第一个参数说你这个hi啊支持哪些啊压缩方式。那你看这里面比较常见的default啊b toni拉罗那还有一个拉罗P,那这俩什么区别呢。咱们说呀,拉着罗,它是可以支持切片。
03:01
对吧?啊,支持切片,咱们说这个拉朱罗支持切片呢,其实指的是拉唑罗P,它是支持切片,比如说你有一个这个200兆的文件,通过这个拉罗P,那可以切成128,然后后续呢,是这个啊72啊这样,但是如果你存这个文件,它就是拉文件,它是本身不支持对应的切片啊,这要注意,后面呢,一会儿会给大家演示啊,不用着急。行,那这是支持的压缩,那另一个呢,下面这个参数啊,是如果我们配置的是拉罗压缩,那它对应的这个全类名是谁。啊,对应的全力屏OK吧,啊,那这里面呢,目前还是用的这个拉罗啊,没用那个P啊后面使用的时候我们可以修改为P。OK,那这两个参数啊,我们来配置一下。放到哪里呢?CDDC排毒法啊。M。啊进来进来之后呢,放到末尾O插入,别插错了啊。
04:03
粘贴。OK,然后呢,别忘了进行一个分发。分发完毕之后啊,你查看一下你的服务器啊,是否启动,如果启动的话,你需要重新进行一个启动啊,重新启动,那重新启动我们有这个呃脚本啊。AP。Stop,对吧,这些。有了这个脚本啊,开关服务器就相当于来说要方便很多啊,所以说呢,呃,以后呢,大家能把这个呃一些操作流程性的操作变成脚本,那尽量的就给它变成脚本啊。查看一下。对吧,哎,现在呢就已经OK了,那下面我们启动一下集群ADP点走。重启之后,它这个压缩才能生效啊。一定要注意。
05:00
爱启动下。那接下来呢,我们需要在这里面看一下这个页面上刷新一下啊,OK,现在呢,就已经OK了啊。对吧,嗯,OK,那整个这个海子堡肌群已经启动完毕,那接下来我要做什么事呢?接下来我们测试一下这个拉住的压缩它好不好用,那怎么测试呢?非常简单啊,非常简单万能的word count吗?等我看看。那这里面首先呢,我们是准备测试数据,测试数据啊很简单,Hi do和FS-D创建一个input的路径,哎,然后呢,把一个文件上传到这里面去。那上传到这里面去,我这个word count要干什么事呢?啊,我来干什么事呢?思考一下,哎,我们这样去做哈。大家稍微回忆一下。拍当中啊,有这个map。也有对应的reduce。对吧,那这就那我期望啊,通过这个执行这个word count程序干一个什么事,我让他输出的文件是支持压缩的,比如说变成拉住罗压缩。
06:07
压缩,那这怎么做呢?让它输出的文件式压缩,那还记得吗?我们在这个map reduce当中有三个地方可以配置压缩,分别是map输入端,Map输出端以及呢radio输出端。对吧,哎,可以分别控制。啊,那这里面我们是不是就是相当于是在reduce输出端配置拉住压缩呀。对吧,哎,道理是一样的哈,好,那下面呢,我们先做一些准备工作啊。呃,还多。FS-make点创建一个input路径。好,创建完毕之后呢,我们检查一下啊,刷新这里面是有一个input的路径了,那下面我们上传一个文件开头把FS。杠哎,生成谁呢,我们就将这个。
07:00
他上传上来。上传到哪里呢?上传到input路径上走。好,上传成功之后,我们刷新一下。OK,那这里面就有了一个read,这个read me相关的文件,那下一步操作就非常简单了,哎,怎么办呢?执行word哈。那么来看一下这物上怎么写的啊,Hi doop价啊,然后share尔下面有一个hideop map produce hi doop map produce,一个张S。对吧,这个被摸生吧,哎,然后word countt,那正常情况下我们的word cant是不是这样,Input路径out put路径是不就OK了。那现在我们期望输出的内容得是带压缩的,那怎么配置,哎,配置这两个参数,第一个首先在你MAP6最终的输出端要配置它支持压缩,因为默认这个值啊,是个false。啊,所以说把这个压缩开启,那开启的话,我希望它输出是什么样的压缩文件呢?那下一个参数杠大d Mar output啊,Fair output啊,然后这个压缩方式呢,是对应的全类名,什么全类名拉罗P。
08:10
哎,是这么一个问题,OK吧,那好,那下面我们来试一下啊执行。开始运行了啊。好,执行完毕了,执行完毕之后我们查看一下。这里面就有一个out的文件对吧?哎,然后呢,带拉罗的,那那看一下里面内容。Header,你发现这里面能看懂吗?诶看不懂,其实它就是已经变成了压缩了对应的文件了,OK吧,哎,这个呢就是哎,通过你刚才那个价包,只要上传到S当中进行重启,那它就可以,诶支持对应的拉轴压缩。
我来说两句