00:00
呃,那咱们要测一个压缩格式的话,那咱们怎么样能看出来效果呀,我们一个MR肯定要把mmr的对吧?啊,那一个MR咱们能配置压缩的地方有两个地方啊,一个是哪一个是map结束啊,一个是呃,Reduce结束对不对?这两个地方都能配压缩,都能配压缩,但是大家要要要知道啊,Map结束咱们配压缩咱们能看出来效果吗?看不出来啊,那只能是reduce最终呃,这个输出才压缩了,那是不是能看出来那个效果呀,对不对,那所以咱们配一个最终压缩,那这次咱们得跑mmr了吧,对吧?要跑MR了,那要跑MR的话,那我就得在咱们的hfs上创一个输出路径,输出路径,然后再给他传个文件对吧?好,那现在C到这个并目录。啊,那我现在给他创一个文件,呃,创一个路径啊,还do法FS杠,诶make d,那咱们就叫input吧,Input好。啊,然后呢,我们往上传点这个文件啊,咱们来一个比如说孤二的点TST啊,那这个随便写点东西吧,啊1001这个嗯,咱随便写的什么big date吧啊big data呃,Data啊然后咱们有没有大神啊,可以这个呃共享一下啊,有没有风流人物,风云人物。
01:16
比较出名的咱班是谁呀?没有啊,那没有写我吧,啊,你写我的吧,啊,那咱接接着往下走,那咱们比如说这个北京,这个比如说上海啊,然后再往下走,比如说什么深圳啊,这个深啊,这随便写点东西就得了啊行,那完了之后我们把它传上去啊,还渡吧,嗯,这个FS-put特。Put,然后呢,加上这个word.tsd给它转上去。嗯。啊,已经有了,那接下来咱们就可以跑MAP6去测试了,对吧?那MAP6我们就用它自带的那个MR就行了,Hi豆op,然后这OBD model hi豆op,然后share hi豆op map hi豆op mapdu examples,然后呢,Count w code,哎,World count,那后边我们正常应该是只只需要输入一个input啊说说需要再输入一个output对吧?Putt啊,Put output output不能存在,那现在如果是这么直接跑的话,那你说咱们这个任务它压缩了吗?没压缩,默认不压缩了,对吧?那要想压缩怎么办呢?
02:20
是不是得找到它那个配置啊,啊,咱们还是来到海度官网找到哪这个应该找谁要找map right这个default了,对吧?啊map right啊点开我们搜跟压缩相关的,压缩相关的呢,咱们就得是呃,Compress,对吧,C ssin compress and compress吧,那在这。来看一下这啊,我们这儿呢,有这样的几个参数,一个是它啊,还有一个是它。啊,这个相对是啥?是map输出进行压缩对吧?那这个呢是什么?是文件最终输出进行压缩啊,那他俩默认都是不压缩的啊,都不压缩,那现在我要想让最终输出进行压缩,是不是应该将这个参数设成处才行,哎,咱们拿过来那参数在哪加呢?
03:06
啊,如果说我们自己写的mmr写的代码,那是不是可以在代码里边给它加参数啊,对不对,然后咱们用这个脚本去进行这个,呃,用海豆不这用这个去提交认的话,那应该怎么办呢?在哪?咱们可以在这儿啊,在word的后边咱们可以加一个杠大D啊,然后呢,去配这些参数,然后呢,我们海子不这这个脚本当中会识别这个杠D后边的参数,给它配进去,像是这样一个逻辑啊好,那也就是杠大D,然后直接挨着就行啊杠大D然后呢,加上咱们这个参数,诶让它设成什么东西,设成t rue出t rue好,那后边是不是还得再加其他参数啊,加其他参数是啥?你的压缩格式不是得指定一下呀,那压缩格式它默认是什么?这那个指纹压缩格式默认是啥呀?默认就是默认呗,Default对吧,默认就是default那个啊,那现在呢,我们把这个拿过来,需要给它配成谁配成咱们自己那个拉泽罗啊拉泽罗,然后等于拉,然后我们去找一下我们诶那个参数啊,那前面讲了,要是真正的拉泽罗应该是谁下边那个对吧?哎,咱们用这个拉斯罗P啊复制啊,然后呢,给它放在这儿行,那现在我们开启了最终的压缩,压缩格式指定的拉斯罗了,现在开始跑任务走你。
04:20
嗯。那这时候我们就等着一会儿看一看HDFS上面呢,咱们有没有这个拉塞罗文件出现就行了。来,我们现在去H上等着看一下啊,来找到这个位置找到啊这然后找到咱们的output。已经出现了,对吧?诶已经成功了,Success出现了,你看这是不是拉子罗呀,对不对,然后大家要注意啊,假如说我在这个位置啊,就咱跑mmr这个位置,我们声明的那个压缩格式不是拉兹罗P啊,假如你声明的是那个拉兹罗,那它的后缀就不是LZ了,那后缀是什么呢?是l z deflt啊,De flate啊,那是另外一种压缩格式的,相对他们俩拉多罗和拉罗P呢,实际上这俩相当于是两种压缩格,试能理解对吧?啊把这个搞清楚,那咱们常说拉泽罗指的应该是它啊拉德罗P,把这个搞定就行行了,那现在我们就完成了这个拉泽罗这个文件的这个压缩的测试啊,把视频录一下。
我来说两句