温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
那接下来我们看看。加上一个k yo序列化,那么看一下代码。在咱们catch这个包下面还有其他准备的几个类啊,一个r DD catch k yo,那这个地方跟前面的区别主要在这,第一个我在Spark控指定的序列化器是k yo。另外一个要。对于咱们这个类要注册一下啊,咱们这个cos payy啊,咱们封装了一个是呃样例类啊cosplay那注册一下类型好,那我们也知道是Spark默认的一个序列化,应该是用的Java序列化,那它也支持kr yo,但是需要像咱们这样去指定和使用那k yo它。序列化之后,它空间更结构更加的紧凑一点,所以一般kr yo它首先效率高,第二个呃,占用的空间会少一点,那咱们就来看看这个kr yo能不能搞定,像咱们刚才啥也没用,直接就存不下,对吧,现在来瞅一瞅。
01:10
那咱们直接把这个案例啊来跑一遍。还是刚才的配置啊,换了一个内置。那咱们回到8088啊。8088打开。刷新一下。好,现在是running啊,现在running。看一下excu,那当前大家可以看到excu占用的这几个存储内存才这么一点,对吧,那你看每个SQ的可用可没有六个G啊,才三个G左右对吧。
02:09
嗯,刷新一下,等一下啊。看一下这里有没有,还没有啊。好,我们可以看到有一些已经那个有有存数据的,我们看一下存储,像刚才如果没有进来存好的话,咱们点击这个页面,这里都是空白的。那一般等一会儿就好了,那么如果你很长时间一直没有出来,那说明你这个内存一直不够用,然后一直失败,是最后呢,他也就不去使用了啊,所以你会发现一直没有,你可以看一下详细日志对吧,那我们刷一下。
03:03
现在已经71了啊,你看像刚才是不是一直卡在29就没了,它就没了对吧。现在已经完成五个分区的缓存了,来再刷一下。七个了,百分百。百分百来,咱们截个图。这两个咱做一个对比啊。首先从原来咱们这个推算一下,呃,2.5个G才29%,那差不多它是不是七点多个G啊,一共需要这么多,那现在咱们使用的序列化,并且呢,使用的是kr yo序列化,一共呢,才需要一个G不到,你看这个空间整整节省了七倍多。七倍多。所以咱们一般在使用,如果可以的话,咱们还是呃缓存结合这个序列化来使用,从这里咱们就能很明显的看到一个对比跟效果了,同学们。
我来说两句