温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好的,那接下来呢,我们还有一种,如果是多表产生数据倾斜,那么多表产生的数据倾斜呢,呃,往往来说都是有join操作。啊,那如果说我们确定是转移过程当中产生数据信息,在官方当中呢,它自动给我们又做了一些优化。打开。我们的优化参数。啊,打开我们优化参数,它也是一样的,它会先启动一个任务,再启动一个任务啊启动两个任务的方式,第一个任务呢,打散我们的一个数据啊,这是一种方案啊,直接使用参数法可以解决我们的一个问题,那另外一个呢,如果说我们转引过程当中是发现大表与小表的一个照,那完全我们可以使用map draw,而且呢,我们刚才通过X执行计划也看到了map draw呢,它不会走reducer,那一旦不走reducer,那还会有数据倾斜吗?大家想一想,因为我们说过数据信象往往是伴随着沙uffle的一个产生啊,那么一旦没有了reducer过程,那也就不需要做这个杀否流程了,那我们的数据信斜问题也就不复存在了。
01:12
啊,所以map呢,也可以解决我们的数据倾斜问题啊。
我来说两句