温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,那接下来呢,我们看一下这个数据倾斜啊,数据倾斜的问题,首先我们要判断是否存在这个数据倾斜,那有一个比较直接的方式,就是通过反压。对吧,如果产生了反压,然后我们看到是某一个。Sub task产生了反压,诶,那这个时候数据倾斜,呃,但有时候它产生了数据倾斜,但是呢,它没有产生反压。有可能呢,对吧,你你比方说啊,这种数据下面那个,它并没有产生反应,因为我资源给的足够多。对吧,那这个怎么看呢?其实也可以监控啊,诶我这个任务关掉了是吗。好,我把这个任务关掉了,行吧,我给他打开啊。刚才呢,我把任务都关掉了,那我这边呢,把任务重新启动了啊,在roll job当中。
01:03
还是一样的,诶点到这儿来对吧,点到这来之后呢,我们可以看sub task,它里边能够看到当前这个子任务接收到的。数据。啊,一个是be,一个records,一个是。字节数还有一个呢。条数对吧?啊,那有可能他俩都没产生反压啊,但是呢,有可能数据量是这样的,A这个某一个呢,1.74个G有的呢只有多少个几百K,那这个明显属于倾斜了,对吧?啊,那我们也可以通过这个,那在普罗米修斯监控的时候,我们就可以做多个宾度之间的一个。差值啊,它是可以在普罗米修斯做监控的时候,就是这里边啊,所有的指标啊,所以我们看到的指标,因为在这里边,刚才我们看指标的时候发现到它是根据每一个边度来的,对不对,零一,如果说你要是四个冰度,它是0123。
02:00
他0123,也就是说可以细到子任务上去监控普罗米修斯是可以到到这种的,好那我们可以比较多个子任务之间的数据量,对吧?啊做这个事情确认它有没有数据倾斜,好这是我们确认数据细节啊。
我来说两句