温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,接下来我们来看一下hidoop的组成,那这里面标注了重点内容对不对,哎,面试的一个重点,那我们就留意一下呗,首先来看一下hidoop1.x的组成,那1.x的时候啊,这里面呢,有common模块啊,其实一些辅助工具类或者一些通用的啊,它内部的调的一些呃,工具。那再往上呢,是HDFS的数据存储。那回忆一下哈,Hi do法主要解决哪两件事儿?是不是就解决两件事啊,一个是海量数据的存储,还有一个是海量数据的计算,就这么两件事,那HTFS负责存储,那当然还有一个框架负责对应的计串MAX6。那M调在1.x的时候呢,除了有计算之外,还有一个叫资源调度,也归他管,那啥意思?说什么叫计算,什么叫资源调度?给大家举个例子,那你在计算的时候有加减乘除运算。对吧,这种对数据的一个变换,那这叫计算,那什么叫资源调度。
01:02
那问你个问题,你在想你在进行加减乘除计算的时候,需不需要内存?需不需要CPU,那问你需要多少?对吧,我给多少合适?我是给1G内存还是给10G内存,我给一个CPU还是给十个CPU。那还有我是在嗨,102上计算这个。任务还是在海103上计算这个任务还是在104上计算任务。那由谁来管,那这里面就由这个资源调度来管。那在还多1.x的时候,那就是迈60,既当街又当妈,既负责计算又负责线调。那在一个这个好的代码里面,有一句话叫高内聚低耦合,你得具具备这种能力,那这个代码才是好的,对吧?那好,那到了hi多2.x的时候,那么来看一下它的组成就发生了变化。Common没有变,HTFS对数据进行存储也没有变,但是原来的map一分为二,一个呢叫map,专门负责计算,另一个呢,叫雅恩。
02:12
啊雅负责资源的调度,管理对应的CPU和内存。这就是变化。面试官愿意问说,哎,1.x和2.x有什么区别呀?哎,就这么区别,比如说1.x的时候呢,是MAP60,既负责计算,又负责进行调度,到了2.x的时候,MAPB6负责计算,亚N负责支源的调度,就OK了。那这里面说还有个3.x的区别,那3.x跟一二有没有区别呢?在组成这一块没有任何区别。那么在里面的一些细节上,比如说纠缠码啊,哎,还有比如说像这个name note能配置多个name note。等等,这些都是3.x特点,那在这里面我们先不做过多说明,等我们后续讲这个还多新特性的时候,我们再给大家去说。
我来说两句