00:01
呃,刚才呢,是把那个雅安的工作机制啊,给大家讲述了一遍,呃,其实呢,在面试的过程过程当中啊,他有的面试官问你什么呢,就问你雅安的这个工。还有个什么呢,问你作业。什么作业?是不是就这吧,哎这吧,那这个照吧,提交的流程。一个事儿啊啊。其实是一个事儿啊,所以说别被问懵了啊。不过呢,在job提交流程当中啊,你有没有想过一个问题?什么问题呢?呃,你整个这个框架有着。那么四个组成是吧,但是其中有最重要的三个。一个是HDFS。一个是雅。一个是max。他们三者之间到底如何工作的?怎么联系在一起的,学了这么多。他怎么过来在一起的呢?有没有想过?ADS负责存储数据对吧?啊存储数据,那你想想你这个作业也是个MR在运行当中。
01:03
是否需要?对H进行读写。对吧,数据来源是A盘是吧?那是不是一个读数据的过程,哎,那这个运行完之后的输出是不是还要写到A盘上。那是文件在写的过程。是不是跟H连上了吗?那么MR和雅又怎么联系的?哎,是不是把这个MR提交到这个,呃,雅安集群上,然后进行任务的一个调度状态协调啊。那我让你画张大图。把他们三者之间连在一起怎么办?你看啊,来,我们来画一下啊。这个呢,是延安的工作机制,从雅安开始。再呢是客户端提交代码啊。提交依然是申请啊。然后这个。返回提交路径,提交到这对吧,提交到这之后呢,依然是申请Mr master。
02:04
之后呢,这个任务到了这个队列里面去啊放。放到这儿之后呢,领到任务开始启动。用MR马。行他之后,然后下载相应的资源。根据这个界面信息决定开启多少个map test。从这开始。那这是不是就已经启动脉了?启动mate实际跑的是。数据marks。那就说刚才前面这块是雅安的启动。启动完了,MR来了,MR来了,那就没我们就好好数的数的是吧。Ma首先是read阶段码。把read读取数据,一行一行读,这是默认的,读完之后进入到map。Mark之后进入到collect收集。收集完之后一写啊,一写一写完之后。
03:03
合并吧,啊word对吧,啊合并这是五阶算完事了。五个阶段完事之后,把数据是正好给您放到一个对应的分区排好序的地方。只不过在这个地方是你经过。那我让你画一张大图的话,你是不是将这要展开成?如果纸张足够大的话,是不是这块可以展开写?再往下。那之后呢,呃,卖阶段结束了,那就要开启相应的reduce task。你的呢,根据分级数啊,决定开启了这么两个。那开启之后,他就要去拷贝对应分区的。那拷过来,从这个radio的开启。看是不是第一个阶段copy过来了。啊,Copy完之后。
04:00
是不是墨家少的?对吧,规定排序嘛,啊,规定排序之后进入到reduce代码。你能懂吗?啊,你可以划分成三个阶段或者四个阶段都行。那第一个阶段是考。第二阶段就是啊。存储过来之后是word。然后是reduce业务处理。你这样一想,这整个这一块是不是就是M2的过程。对,那MR的过程,那你再想一想哈,我们。来来,这样。那也就是说,刚才这段过程其实是。是吧,从读数据,然后进到map,然后收集收集还原缓冲去一,然后这块是一起一起完之后。规定茉对吧,完之后这边呢,是reduce集团开启,相当于先拷贝啊,拷贝之后,然后默和然后reduce。
05:02
对吧。哎,这是连一起了,那连一起,那你想想你这个文件放在哪。A板上,那是不是一个读文件的过程,那你最终输出到哪?ADS写数据流程。那在读读数据过程和写数据过程当中是。是就涉及到name notde和ton相等。又涉及到了带not的相等机制。对不对,读写流程的时候是不是涉及到这几个。那你想想,你是不是把整个孩子,把所有的那个框架都串在一起了。直播这张图让你们画的画啊。大家花点时间在其他班真话我啊。每个班至少能有两到三个同学。把这画全。整整一张,非常大的一个。A1的那种,或者A0的。或者你可以用什么呢?用画图板将这几个内容。
06:02
拼接在一起对吧,哎,拼接在一起也是OK的。所以说呢,你这是我们在之前呢,是把所有的点。都给大家讲完了啊,什么这个文件的上传。当然流程啊,这个。个写数据流程和这个读数据流程,包括它的NN啊。还有DN工作机制都是。那么能不能把所有东西都给我串联起来?这是你一个综合能力的一个。这是照交流程。
我来说两句