00:00
好,同学们,我们接下来来讲一下RDD的文件读取和保存啊,这个其实文件的保存呢,咱们之前是给大家演示过的,对吧?呃,那这里呢,我们来看一看啊,来咱们演示一下,呃,首先呢,我们来创建咱们的这个,咱们就叫IO吧啊,咱们点击OK,然后这里呢,我们点击new,咱们创建一个咱们叫SPARK01,然后叫RDD,咱们叫IO,嗯,那这个我们首先先讲一个就是保存吧,咱们就叫IO当中的一个save啊,先给它保存了,然后呢,点击OK,嗯。这里写上一个man,然后把基本的代码拷贝过来。哎,翻过来啊。好,点击之后,然后下面SC点我们的这个stop,嗯,放过来,那接下来我们写上咱们叫做RDD等于c make r DD,然后写上list,嗯,然后呢,括号啊,咱们叫A这个逗号一,然后来我们写上一个R,写上一个三,好把这边呢写上一个B啊,写上一个C。
01:08
呃,可以了,那我现在呢,接下来我们的R咱们点啊,咱们叫save,咱们写上咱们叫output,嗯。那我这边呢,我先给它删掉啊,咱们删掉咱们delete一下。好,然后呢,这里呢,给它一个一,咱们诶好写上一个二,然后写上一个三啊呃,这个呢,我们把这个去掉吧,咱们就object啊,咱们叫file,这个呢,我们叫做sequence啊,咱们叫sequ file,这个咱们之前给大家讲过啊,这个SE呢,它必须是建值类型的数据才能用,像前面两个方法呀,就无所谓了啊,那这个方法比较特殊,嗯。好,那我现在呢,给它运行一下看结果啊,咱们这个是给大家讲过的啊,所以我们这里呢,直接啊把结果得到其实就够了啊嗯,好了,同学们看我们现在已经得到了结果啊,这个咱们就不再往下说了,嗯,接下来咱们准备呢,去把这个给它读取过来啊,那么读取过来怎么读呢?大家看一下来,其实啊,我们不同这个格式的文件,它的读取方式呢,其实大家会发现你看这边是我们的什么东西啊,咱们的test file,然后下面的SE呢,会有专门的second file,然后呢,对象文件呢,它这里面也会有相应的object啊,其实它都是有的啊嗯,这个呢,我们来给大家来演示一下吧,嗯。
02:33
咱们拷贝啊,这个咱们就叫漏了啊,咱们就叫加载了,嗯,好,然后点击OK,把它改一改啊,咱们叫做,诶我这个应该是不是应该叫也行吧,反正无所谓吧。咱们叫做load啊嗯,好,那我现在这个咱就不要了啊,这个咱就不要了,去掉,那你load的话C点啊,我们这里呢,叫做tax file,然后写上咱们就叫OUTPPUT1对吧,然后呢,咱们叫RDD。
03:03
RDD,点我们的collect,点我们的这个叫make string吧,给他个逗号啊,咱们打印一下,嗯,好了,然后呢,我们下面啊,这个咱不要了,再来啊,咱们写上咱们叫SC,点我们叫object file啊然后呢,因为我们之前啊,咱们读咱们保存的数据呢,是一个我们的键值类型的,所以我们这里呢,也给它加上一个泛型啊,表述的是一个string啊,给它一个int,嗯,然后写上咱们叫output,哎,放过来啊,然后这边写上一个咱们叫做RD de。嗯,写完之后呢,拿到这边来,嗯,给他一个啊,咱们这边咱们叫r dde,诶放过来就行了,这个咱不要了,同样道理呢,咱们再来SC点,咱们叫second film,然后呢,我们也加上一个咱们的中国号泛型啊,然后给它一个string,我们叫做int,嗯,好,把这个呢,我们放过来啊,嗯,好,它这还有点特殊啊,它这里不是个tale了,它是个键子类型的了,所以应该是一个我们这样的啊,把这个去掉,去掉以后呢,写上叫RDDR,好,然后把这个我们复制一下,好,这个叫RDDR啊,其实就是把我们之前的数据保存进去,再把它文件中取出来就可以了啊好,我们运行,运行以后看一看我们之前的结果啊,咱们之前的数据呢,都比较简单了啊。
04:29
好了,同学同学们看结果是不是出来了,而且完全相同,对不对?哎,没有任何的问题啊。
我来说两句