00:00
那么再来一个PPT对吧,我们直观的动图理解一下啊。诶,卡住了。好,那么首先咱们几大组件啊,先把它弄出来,接下来呢,啊,几大组件对吧?啊job manager里面有一个job master,这个master里面是不是有一个默认调度器啊,对吧,咱们在这体现,那么每这些组件是不是都有一个。Actor system,或者说他们都是一个RPCN的point,是不是都是一个终端啊,对吧,我这边简化就写了一个act对吧,那同样的task是不是也有啊。对吧,每一个都有一个对吧,好。现在开始从代码执行。开始执行用户main方法,然后是不是生成了一个流图啊对吧,好生成流图之后。是不是同样在客户端内部,它经过了一个操作链的优化,还有顶点边。
01:04
中间数据集的转换和生成是不是变成了一个?Job作业图之后这个图。啊,我这边是简化了用了一个summit job,我们正常是怎么样。雅安模式是不是要上传到HDFS啊,对吧,Am启动的时候才会去加载这些东西是不是啊,那么其他模式都是直接submit过去的啊。好了,那最终咱们就把manager这边master提起来了,对吧,它启动的时候是不是同样创建了一个默认调度器啊,那这个调度器的构造方法我们能看到他是不是做了一个图的转换呢?把咱们的作业图转成了执行图啊。执行图,那执行图包含的每一个并行task,每一个中间结果关系啊,这只是简单说了一句,还是按照之前咱们的一个结说法,你可以结合到这个动图里面去讲啊。
02:06
来,再往下。有了这个执行图,那么启动它,启动master启动的时候。他是不是调度器也开始调度了呀。对吧,那最终他怎么调度的呀。是不是根据这我们的执行图啊呃,然后使用了这个策略,还使用了什么模式啊,一个模式对吧,然后开始进行调度部署,怎么部署的呀。Deploy怎么部署的呀?是不是通过RPC相关服务调用的呀,告诉谁?是不是告诉task manager对吧?哎,然后task manager再告诉task,那我直接就怼过来了啊,直接怼过来,那最终他接收到命令之后,哎,他传的时候是不是那些信息也带在里面啊。对吧,也就是说他收到的邮箱里面是带有那些配置信息,对吧,好之后呢,他是不是就在自己的槽里面去把任务给。
03:10
县城启动啊。对不对,还记得吧,利用了一个task,然后启动线程是吧?哎,这个就是整体的一个过程啊,整体的一个过程。好。那么特别是我上一个视频,哎,这个图的转换过程,还有刚才咱们这个PPT动图,呃,为为什么把这张图放上来,因为我觉得大家图看这张图现在是说不出来的,对吧?那么等你能说出来的时候,你是不是可以对着这张PPT,比如说我跳到这一步的时候,你能讲出一大坨专业术语什么就啊。呃,String node string eager对吧,哎哎,怎么念来着,那个对吧?啊,还有那个作业图那里面你就又可以讲到什么。
04:01
作业顶点作业边中间数据集对吧,你脑海里蹦出这三个概念对吧,还有操作链,那执行图呢,是不是那几个边顶点结果及什么分区那些概念是吧?啊,你就结合这张图,那这么一套组合拳下来,基本就。OK了,OK了。
我来说两句