00:00
好,接下来呢,往下讲讲这个脉管输出阶段采用压缩啊。那卖我就稍微再回顾一下。Map是三个地方可以进行压缩操作啊。这个地方,这个地方这个地方啊,那现在的处理的就是map的的地方。刚才把它已经做了嘛,是不是。之前搞定了,所以说麦输出这一块,那如何开启这个压缩啊,一定要会啊OK。那下面我们来看。呃,即使你的map news输入输出文件都为啊,都是被压缩的文件,你仍然可以对map任务的中间结果做出压缩,也就说,不管你这个map前一级的数据还是这个reduce后一级的数据,压缩还是没压缩。对中间这个结果没有任何影响啊。都可以采用压缩技术。因为他是要写到磁盘,并且通过网络传输到节点。对其压缩可以提高这个很多性能,这些工作只要设置两个属性即可。这两个参数是不是在。
01:04
压缩参数配置的时候讲吗?啊有吧,那下面呢,我们就来用一下啊。那用一下呢,这个呢,我们是基于的word哪里。这是万能的,或者上门的。好,那在word当中啊,我只需要加入两个代码啊。这里面加上这两件。那还记得第一个参数干嘛的吗?Map输出是不是输出将它设置成能啊,也是把它变成默认是。啊,然后另一个呢,是这个配置文件点plus。也就是说你这个压缩到底采用的是。那这里面呢,选的是这个啊。To这种压缩方式啊,当然一会我们可以换啊,可以换成其他的都行。那最终的这个是,呃。
02:00
那这个属性参数我没带大家去那个配置文件里面看,不用大家看了吧,之前都看过N多个了,而且我都标注了在哪个文件里面啊。好,那这个呢,我们直接拿过来。拿到我们的word看看。在这里面我稍微检查一下这面下面的配置啊。这有个铝干掉。这个标准方式啊,好拿到这个位置啊,设置一下这个配置文件。那现在把它换一下。OK,倒一下包,这里面导包不用说了吧,肯定是还豆包吧啊。是那个阿芙罗哈啊。那这样呢,就搞定了,一个是map端输出啊势能,另一个呢是指定它的压缩方式。
03:00
那问大家一个问题,现在呢是这样一个情况,这是maps,我在这地方进行了压缩操作,那么最终输出文件是什么类型?是压缩的还是没压缩的?好,那我们来证明一下啊,这是in world out4看有没有。没有是吧。如果没有任何变化,你感觉这个压成跟没压成的感觉是一样的,这个感觉吧,哎。其实就是这个意思啊。就是说在这个map reduce当中的输出阶段进行了压缩。并不会影响你最终输出结果的,是压缩还是没压缩。
04:00
只是呢,它在传输过程当中。提高了IO传输的效率,对吧,呃。一个性能哈,这是这一块非常要注意,这呢就是map阶段的一个。麦克输出阶段压缩的一个开启两个参数一出啊就轻松搞定。那这是这个。那下面我们还有一个什么呢。是不是在输出阶段的一个压缩啊。就是在最终你MR最终输出的对这个文件要求是采用这种压缩的方式。那这个压缩的方式。怎么设置的几个参数还记得吗?呃,实际上我们用两个就搞定啊,但是呢,设置三个的时候呢,可以提高它相应的一个性能啊,我们来看首先呢,是这里面,哎,默认的这个值呢,是fast需要将它改成。
05:00
你说最终输出的。采用压缩方式,那另一个呢就是压缩,具体采用哪种压缩方式?这个呢,是在压缩的时候是针对。压缩。还是这个块的一个压缩。这两个是不一样的啊。那我们再回头来,就到这。只需要将这两个参数啊,设置一下哪两个参数呢。这回设置的就是这个out不的。在里面呢,设置这个输出开启啊。将开启,然后另一个呢是设置压缩方式,直接就是to。这是其他的一个压缩方式啊,我拿过来。
06:00
好,那这里呢,默认的就开启输出端的压缩,然后呢是B这个度,那上面这个是不是也是B这个度啊。两个都是度哈,注意了。那这回最终输出的文件是压缩的还是压缩的呢?说比这个错,哎压缩后的啊,那这个怎么打开呢。右键解压到当前文件夹。这就OK了啊这个。开始教班长学习。好,那这是这个,那下面呢,你想想啊,我现在卖。Map输出采用的是笔记本图压缩方式。那么最终输出的采用的是。也是B这个图。能不能把它改一下。
07:01
说改成什么呢?那么改成G这个,那我问你最终文件的输出的类型是什么。是G吧,还是上面的这个B这个two。是吧,啊积累法也就是说最终决定了啊,它输出什么格式,那有这个reduce。这块,嗯,奥特曼他来决定这。你要注意啊,跟上边这个其实没有任何的关系啊,它没有任何关系。Z呢,就是说在radio端啊,也能对数据进行一个。
我来说两句