温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,接下来我们来看一下HTYS雅和MA6斯三者之间的关系,比如说啊,上几节课啊,我们把这个A分别把HTYS雅、MA6各自的一个工作原理呃给大家讲解了,那么他们三者之间是如何来配合的?这个大家在整体上啊,啊,这个印象呢,还不是特别深刻,那么来看一下哈。呃,看看他三者之间怎么配合,那首先闪亮登场的是HTS,对吧?ADSADS当中有三个角色,分别是name node data node以及ton。那考大家回忆一下。分别他们都。解决哪些问题对不对?那第一个this note。他就负责数据的实实在在的存储,对吧,你把数据给我,我就给你存下来,那内部弄的呢,Name弄的呢,是负责告诉别人说我这个数据啊,存储在哪个节点上,存储的什么信息。这是由他来告诉的啊,相当于是个账本,那下面呢,还有一个ton对吧,什么角色秘书。
01:01
也就是说这个name note万一他挂了,那这个tonn会备份一部分数据,那后面会教大家他备份这个数据,如何来恢复这个内内note一部分工作,哎,不是所有的工作。啊,这个老板啊,和秘书还是有点区别的,对吧,好,那接下来。接下来呢,就是雅恩闪亮登场,他负责整个集群资源的一个管理。对吧,这里面有result measure no measure no measure measure OK。好,那现在呢,一个客户来了,说我要向你这个集群提交一个任务,谁来了?宋宋老师来了,还是他又提出来了,说我要查询我15年五月份高清无码视频,你负责帮我找到。那这个集群开始工作。那提交完这个任务,Manager就会找一台节点开启一个container,然后把这个任务放在这叫application master。有了他之后,那这里面他会跟他申请说我这个任务啊,需要运行多少资源,由他来申请,那吕超班长一看,哦,行,没问题,那正好这两台节点有对应的资源,我就给你开启对应的资源。
02:12
那他负责开启map test。对吧,那这就是map reduce当中的map阶段。Map基站特点,每一个map task独立工作,我负责坚守我自己节点,我负责检测它。那不管他检索没检索到,他都会返回一个结果,说有没有这个视频对不对,那最终他会把这个结果。再写到磁盘上。对吧,那这个就是reduce阶段,把map阶段所有的结果汇总过来之后,写入到ADS。那想他把数据写入到HTPS,那是不是在name note上又进行了一个记账操作,Data note负责一个实实在在存储的操作,Tonn呢负责,哎,也记录一份数据,后面会告诉大家啊,只是有一点时间偏差。
03:02
OK,那这样不就齐活了吗?三个组件分别是HTFS。雅恩以及map reduce相互之间的一个工作流程。先有个印象,后面呢,我们在讲解的时候,会给大家详细的再进一步讲解啊。
我来说两句