098 - 尚硅谷 - SparkCore - 核心编程 - RDD - 依赖关系 - 任务分类

嗯，刚才呢，看了一下咱们的任务划分的源码啊，咱们稍微的解读了一下，那么它这里面用红色的字体呢，描述了一些概念，首先他说application job和task它的每一层的关系啊，是一对多，嗯，这个怎么理解呢？其实还好理解啊，他说了一个应用程序它会对应多个job，那当然了。咱们回过头来啊，回过头来咱们打开这不就是一个应用程序吗？它里面如果有多个行动算子的话，那不就是多个作业吗？所以这个一对多没有任何的问题。然后接下来说job和stage，它也是一对多，一个作业当中它会有多个阶段，那肯定啊，他要看你sale的依赖对不对，你sale的依赖如果多的话，那么阶段数量肯定就多，这也没问题吧，然后呢，我们的阶段和任务task之间的关系是一对多，这个也没问题啊，一个阶段它会有我们的什么，我们的最后的一个RDD，而那个RDD呢，会有很多个分区对不对？极限情况下不就一个分区嘛，所以它也会有多个任务对不对？一个分区就是一个任务嘛，所以说一对多这都是对的啊，没有问题。好，接着往下啊，下面呢，它这个其实啊，把它的这个底层的执行过程呢，稍微的描述了一下，首先第一个是我们的代码该如何去写，第二个该如何划分咱们的任务和。

咱们的阶段，然后后面去调度咱们的任务，然后去执行，它描述的是一个执行的过程啊，这个呢，咱们不会就现在呀，不会给大家去细讲啊，这个咱们在后面给大家看源码的时候，我们再来去讲它的细节啊，它的一步一步的操作好不好，同学们，然后下面呢，是我们任务划分的源码，这个其实就是这个东西啊，Partitions to computer，这个同学们把它看明白了啊，这个任务的数量其实不就出来了嘛，对不对，当然了，还有这个叫Le map stage和这个叫stage对阶段的划分啊，要清楚，还有一个就是我们任务的名称啊，这个呢，我们稍微的给大家描述一下，呃，什么意思呢？就是说我们的任务啊，它跟我们的那个阶段的名称恰恰是相同的，比方说咱们有一个叫Le map stage，诶就是这样，那么我们的这个map啊，它它恰恰就对应了什么呢？叫sle map task，诶就这样的，就是在这个阶段。

你们的任务呢，我们称之为叫Le map task，但是呢，如果是那个叫做什么呢？咱们叫做，诶，我们的这个嗯，Stage，它其实就是我们的叫result task，哎，所以啊，这个其实也好记啊，你把阶段记住了，任务就记住了，你把任务记住了，阶段不也就记住了吗？对不对，诶，就是这个意思啊好了，这个呢，我们就不再细说了，好，这个呢，咱们先讲到这里。