温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,接下来我们看下这个结外重用这个东西,其实在那个什么它当中已经提到过了吧,已经提过了。这个东西其实是一个特别好的一个优化方式啊,像那个之前那个滴滴的架构师过来分享的时候,他们当时有一个任务就跑特别慢,然后就开了那个GM重用,然后它当时是设置了多少那个值我忘了,当然这个值是根据你什么集群的配置来设置的啊,集群配置来设置的,同样的一个任务效率就提高了一半啊,就是做了这一个这位来风方面重用的一个优化。重用的一个优化,然后主要就是你打开这个,而且这个东西是在哪去设置他多的一个配置文件里面,设置的哈多配置文件里面,那我们可以看一下在这个have当中,它能不能看到哈多的一个属性值。也是可以的吧,你看一就表示什么。一个是吧,重用一个,那你要根据你的实际情况,可以设置它这个值,你不仅可以在这个地方,如果说你的集群。
01:09
比较稳定,那你在你搭建哈多集群的时候,你可以在配置文件里面给他写死了。是不是啊,当然如果说什么你当前的任务跑的比较慢,你要对当前的这一个黑客进行优化的时候,你是不是还可以在这个什么。Have窗口里边再单独的去设置一下这个值啊,单独设一下这个值,那它肯定也是同样的,跟我们什么ma压缩压缩一样,它也会读到什么configuration这个配置文件里边的为你这个什么当前的这个任务来生效的。而且这个GM的一个重用啊,它是针对于什么层面来说的,Job层面的,它这个重用肯定是同一个job当中不同的task来重用这个GM。因为我们那ma探索也好,Window探索也好,它都是运行在Java虚拟机上面的嘛,Java虚拟机的一个启动,一个关闭都是也是需要时间和资源的,那有时候呢,你一个任务会有很多个map,或者说很多个reducer,那这个时候你开启这个接外没重用啊,还是很有效率的,很能提高效率的,这是这个问题,大家一定要记住这个点,监管后的一个重用,而且你要知道在哈当中哈,有窗口里边也是同样的可以来设置这个值的,设置这个值的。
我来说两句