00:00
好,接下来呢,我们讲一下map test啊工作机制。和下面的test工作机制。那其实呢,这个map t工作机制和radio t工作机制合起来是谁呢?哎,就是这个map reduce详细的工作流程,只是在面试官问的时候,他问的角度不一样,或者说说法不一样,你要清楚,要问你WEB6工作机制,那就是上面这两张图。那如果问你的是这个ma的工作机制,那你说这张图加上。就讲卖不太,他那太纯了。啊,要分清楚啊,他这个每个面试官问的都不一样啊,那我们来看看在这个map test他是详细的怎么工作的。这个map task呢,这工作过程当中一共分了五个阶段,分别是。RA阶段。Map阶段啊。收集阶段、一写阶段以及合并阶段。
01:03
这么国际在那看看分别对应着什么?还是待处理的数据。这个处理芯片信息啊。提交界面价包,查到信息到集群。集群的启动。相应的Mr master。启动完之后就开启相应的map test。好,开启map task才是真正的map task工作机制开始,那首先这个过程用test input去读一行行的数据,那这个过程就是。那读完之后返回相应的KV数据,并把这些数据写入到web里面去。那这个过程就是。啊,这里面处理核心的一些逻辑。好,那从这个map阶段往主债写数据。其实就是大了。环形缓冲区这一块也就对应着收集阶段。
02:03
书记的手机。这是国际晚数据里面的数据样式。那这个是往里写之前先要判断分区。排序分区排序都属于收集的。那下面。哎,排完序之后要往磁盘上进行溢写,一写的过程是一写。一写呢,可能有多个多试一些,那一写完的文件再进行合并。那这一阶段是。八级的。啊,也就是规定排序。这块知道啊,所以说前面这块读数据的过程是read的阶段。这个呢,在map里面处理的业务逻辑是卖不起的。收数据收集阶段,那就是对应的分区和排序。然后一写阶段呢,对应的就是一写到。
03:01
文件当中的这个一些文件。最后对一些文件进行合并,那是combine合并的。所以说呢,呃,有些面试官呢,他喜欢问的一些专业一点的名词,比如说他可能问你,诶在这个卖太的过程当中,这个一写阶段啊,或者是这个收集阶段。你给我解释解释。突然间,你可能就懵了。为什么还蹦出了一个一血阶段呢?还有什么这个收集阶段呢。然后这个阶段用什么。啊,要清楚,其实就是让你讲这个东西嘛,对不对。那他关心的可能是?收机子,哎,问你分阶段做了哪些事情?那肯定是有分区。排序,那还会问,接下来会问,那排序的过程当中,哎是对什么进行排序。是不是对K进行排序,默认是按照什么排序呢?支点是一排序,那采用的手段是什么呢?
04:03
这,我要面试老师的时候都像你这么痛快答出来。啊,结果就是真的是问了100多个啊。三五个人能打出来就不错。啊,就是这样的,就像市场上这个能真正的掌握这个东西的人太少太少。像你们这么牛的,能把这个整个bug出来是吧?就更是凤毛麟角了。你像你们现在你看任何地方,这地方拜吧,前面这地方办吧,外边这块全搞定吧,再包括这个后面这个分排序啊这块啊,排序这块还没给你边办完燃办完一下。啊,包括这个原数据写数据过程啊,其实还有个末。一会我们再讲一下啊。不要拦着我的地板。所以这个呢,就是这个整个这个map啊,非常之简单啊,这么几个过程啊要清楚。
我来说两句