00:00
好,接下来呢,我们再讲一个这个file input的实现类,这个呢是什么呢?Input,那我么看一看啊,它的特点是什么。呃,如果使用这个input,代表每个map进程处理的这个input SP就是切片,不再按照块去划分。按什么呢?按这个它设定的行数来划分。以前我们是80块啊,128到一块,一百二到一块啊。啊去切片,那现在呢,这个是按你多少行,我就可以切一个片。这输入文件的总行数除以N就等于切边数。如果没有整除,那前面数等于商加一,比如说呢,你这里面。哎,总行数是八行。啊,那这个它设置呢,是两行一件,那除以Y是不是等于十啊。那如果是三呢?那就是是不是。
01:00
三呢?那除以它等于二余几?你不管于几,反正加一对吧,啊,不管于几都加一。这个好难呐,这个题。行,那下面呢,我们是这个一个事例啊,有四行四行内容。然后呢,这个N呢,我们设置为二啊设为二。那最终切几个片的问题?这里面呢,其实是切除两个片,两个map test。你说这个零这一行。和19这一行放到一个芯片里面去。那下面这个47~72啊,又来一片。是这样子的啊,要注意OK,那这里的键和值呢,与。Input是一样的。一样的是什么意思?那它的K都是什么?是不是都是偏量啊,哎,都是偏量,那么Y6呢。
02:02
是不是都是一行一行内容啊,哎,都是一行一行内容OK。那这个理论讲完之后,那下面呢,我们看一下这个案例啊。Line。首先看一下需求。对每一个单词进行这个个数统计啊。要求根据每个输入文件的这个行数来规定输。出多少个鞋垫?案例呢?要求每三行放入一个切片中,这是原始的输入数据,要求每三行一个切片。每三行一个芯片,那也就是说这是一个芯片。这又是一个斜面。这又是一个切片,那最终这一个那几片。哎,就四片,最终输出结果只要达到四片就OK了。这是我们期望。随便是。是怎么做的?
03:00
看一下具体分析。这是输入数据。这是输出数据。OK。Reduce。这不。那在这个driver当中,我们要做什么事情呢?哎,要设置你是按多少行一个切片对吧,我们要求是三行一切片呢。来三号一点。OK。那之后在这个map和reduce阶段,他都要做什么事情呢?其实他们还是要对这个单词进行统计吗?对吧,哎,目的需求还是统计,只不过呢,在统计的过程当中,我们要求他开启每三行开启一个map test。个每一个界面。那这里面他要求我们开几个呢?四个,哎,四个切片。四个麦。那map和reduce的处理。不受任何的。还是,呃。转向过去行切割,切割完之后循环写出。
04:03
那么在阶段呢,依然是对这个单词进行一个汇总啊。所以说这里面我们需要改的就是在这个driver当中去设置一下它啊,同时呢,其实还要设置一下,呃,这个input那个class类。怎么变成?
我来说两句