温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
嗯,刚才呢,看了一下咱们的任务划分的源码啊,咱们稍微的解读了一下,那么它这里面用红色的字体呢,描述了一些概念,首先他说application job和task它的每一层的关系啊,是一对多,嗯,这个怎么理解呢?其实还好理解啊,他说了一个应用程序它会对应多个job,那当然了。咱们回过头来啊,回过头来咱们打开这不就是一个应用程序吗?它里面如果有多个行动算子的话,那不就是多个作业吗?所以这个一对多没有任何的问题。然后接下来说job和stage,它也是一对多,一个作业当中它会有多个阶段,那肯定啊,他要看你sale的依赖对不对,你sale的依赖如果多的话,那么阶段数量肯定就多,这也没问题吧,然后呢,我们的阶段和任务task之间的关系是一对多,这个也没问题啊,一个阶段它会有我们的什么,我们的最后的一个RDD,而那个RDD呢,会有很多个分区对不对?极限情况下不就一个分区嘛,所以它也会有多个任务对不对?一个分区就是一个任务嘛,所以说一对多这都是对的啊,没有问题。好,接着往下啊,下面呢,它这个其实啊,把它的这个底层的执行过程呢,稍微的描述了一下,首先第一个是我们的代码该如何去写,第二个该如何划分咱们的任务和。
01:23
咱们的阶段,然后后面去调度咱们的任务,然后去执行,它描述的是一个执行的过程啊,这个呢,咱们不会就现在呀,不会给大家去细讲啊,这个咱们在后面给大家看源码的时候,我们再来去讲它的细节啊,它的一步一步的操作好不好,同学们,然后下面呢,是我们任务划分的源码,这个其实就是这个东西啊,Partitions to computer,这个同学们把它看明白了啊,这个任务的数量其实不就出来了嘛,对不对,当然了,还有这个叫Le map stage和这个叫stage对阶段的划分啊,要清楚,还有一个就是我们任务的名称啊,这个呢,我们稍微的给大家描述一下,呃,什么意思呢?就是说我们的任务啊,它跟我们的那个阶段的名称恰恰是相同的,比方说咱们有一个叫Le map stage,诶就是这样,那么我们的这个map啊,它它恰恰就对应了什么呢?叫sle map task,诶就这样的,就是在这个阶段。
02:23
你们的任务呢,我们称之为叫Le map task,但是呢,如果是那个叫做什么呢?咱们叫做,诶,我们的这个嗯,Stage,它其实就是我们的叫result task,哎,所以啊,这个其实也好记啊,你把阶段记住了,任务就记住了,你把任务记住了,阶段不也就记住了吗?对不对,诶,就是这个意思啊好了,这个呢,我们就不再细说了,好,这个呢,咱们先讲到这里。
我来说两句