温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,接下来呢,我们来讲解一下作业提交的一个全流程,那这个呢,主要是辅助大家去理解HTS雅和MAS他们三者之间到底是如何配合工作的。哎,是解决这事儿哈,那看一下这张图啊。大家是否还有印象,之前呢,有海精灵二英三英零四对吧,这里面首先哎存储着deadnoe,这里面有数据,哎对应的是这个送送点avi啊等等一些数据,那这里面出现的角色呢,有data note负责存储name note呢,或者监控啊,或者说记录这里面哎哪一个文件存储在什么位置。那secondary name node呢,属于小秘辅助他工作了,好这么几个角色,那再往下来resource manager,那下面有no manager no manager no manager,对吧?哎,管理整个集群资源的由他来负责,管理单节点资源的由note manager负责。那下面这里面提交了一个任务啊,Q端提交任务要运行一个啊,程序说查出来送送点五码avi这么一个文件好。那开始提交任务,产生一个APP master,这就是MR闪亮登场,那MR里面有这个对应的map test,还有对应的reduce task。
01:10
对吧,那每一个map test负责诶读取这一份数据,他读取他的这份数据,那最终呢,进行一个聚合操作,然后把这个输出结果又写出到磁盘上。这套流程不陌生吧,嗯,之前咱们在讲入门的时候给大家讲过,那这是从这个粗线条的给大家去,呃,宏观上有一个直观的概念,那下面要从细节上,它程序这个m RA as和雅三者又是怎么工作的呢?那你看这张图。刚才我们刚讲的这个延安的工作机制,那其实是谁和谁之间的一个配合工作呀,你思考一下。这里面你看这是提交的一个作业,这是啥呀?Map task map task reduce task reduce task,那这是resource manager no manager no manager no manager是不是这个resource manager,这个雅安和map reduce之间的一个全流程工作呀。
02:02
对吧,那这里面还差一个谁呀,还差一个ATS,那ADS跟他们之间又是怎么样的一个关系呢?那你再看下面这张图。看这张图你陌不陌生啊,首先呢,这是读取送送点T这个文件啊,然后进行一个读取map还原缓冲区,嗯,一些归并。对吧,哎,等等,那这个过程是不是map test和reduce test过程,也就是reduce的过程。那好,那既然是radio的过程,它的数据输入端可以来源于APS,最终输出端可以写出到APS。那我们就可以把HS的这个是读流程和as的写流程是不是也可以画在一起。那未来我需要你们画一张大图,这张大图里面包含什么?HDFS。这个读数据流程,然后260运行运行运运运行对吧,然后再来一个ADS写流程。
03:03
啊写出去,那同时还要把这个雅恩。在这个任务,把这个任务是怎么调度执行的,再给他画进去。那这几张图你要画出来之后,你就会会非常清楚的这个理解,Hi do在底层是怎么运行的啊,有负责存储的,有负责这个任务执行的,还有呢,资源调度的。呃,紧密的一个配合。对吧,哎,这个呢是做一个作业,希望大家呢,哎,把这几个图串联在一起,那你在理解这个hadoop就会非常轻松。
我来说两句