00:00
好,接下来呢,我们来看一下第六章data node啊首先来看呢,就是data no的一个工作机制,也说啊老板啊和员工他们两个之间是如何来进行工作的,是吧?来看一下,首先这里面呢,有三个data note节点,一个name notde,那在name note里面呢,主要维护的是原数据信息,那在data note里面,它维护的有实际的这个每一个块里面存储的数据,以及呢,对这个数据进行的一个校验和长度啊,时间戳等等一些记忆。那这个给大家看一下啊。打开我们的集群。CD date date,然后DFSDFS,然后date对吧。进到这里面current current。Finals对吧,这个地方呢,之前我们也带大家看过,哎,之前在讲这个上传一个小文件,或者上传一个大文件,它在底层是怎么存储的,来看一下这块。对吧,它实际存储的时候啊,这是实际存在的文件内容,那另一个呢,叫呃meter啊,Meter里面存储的就是这个块儿相关的校验和哎等等一些信息啊,所以说这里面是它。
01:12
那打开。哦,这里面除了存储数据之外,还有用一个meter来存储数据长度校验和和实验戳。那么。这个服务器啊,一开机之后,这个data node会主动向老板汇报工作,汇报什么工作,告诉这个name node说呀,我这里面这个data note里面有哪些块信息。对吧,有BLOCK1有BLOCK3,哎,它的长度是多少,接线盒是多少时间怎么创建的啊,而且最主要的是告诉这个老板啊,我这个块儿啊,当前是活着的,而且没有故障问题的。那一旦有故障问题,他就不会向他汇报好。那向他汇报完之后啊,Name not呢,就会把这个信息记录在对应的这个。原数据里面。
02:00
说告诉他哎,注册成功了,给他返回一个。说我收到了啊,收到这个信号行,那是不是我只在上店的时候告诉老板一声,哎,我还活着就可以了呢,那万一在工作期间对吧,其中某一个模块它挂掉了。那老板还认为说记录的,说第一次启动的时候你还活着,那是不是就产生了大量的问题啊。那其实呢,这里面开拓克也想到了这个问题,他呢是以每周期定时的再向这个内蒙道德进行一个汇报,诶默认的周期呢,是六个小时汇报一次,我当前这里面块信息的一个状态是否完好。那当然了,如果说你这个服务器啊,呃,性能不是特别好啊,容易这个出现损坏,那这个六小时呢,你可以说成一个小时对吧,那一个小时汇报一次,一个小时汇报一次。保证你数据的一个可靠性。哎,这是周期性的一个汇报。那再往下。那这里面还有一个事儿呢,说心跳每三秒一次,啥叫心跳啊啊,那其实就是data no和这个内no,周期性的有这种通讯信息。
03:09
对吧,Name note呢,跟data note他俩一直要进行一个相互交互啊,最主要的就是data note要告诉name note说我还活着,三秒告诉他一次,我还活着,我还活着。对吧,那这个六个小时呢,告诉呢,是这个块完好块完好。哎,这是两个信号啊,好,那告诉他活着,那万一超过三秒,说这弄的没有汇报,说我还活着。那是不是name note就认为他挂了呢?不是这样的哈,这个这个年头啊,招一个员工不容易对不对,你别这个三秒啊,没联系上你就把他开除了啊,不是这样的哈,呃,正常情况下呢,是十十分钟加30秒,比如说你超过十分钟之后。那我再给你。十次心跳对吧,你每三秒一次心跳嘛,对吧,我再给你十次机会,你还不行,那我就认为你挂掉了,那一旦认为他挂掉之后的后果是什么呢。
04:04
那以后name note就不会再往这个data note上传这个允许客户端上下面传输这个传输数据,或者来读取数据,比如说不允许再对于这个文件块进行相互的一个读写了,认为他已经挂掉了。啊,这个。呃,很重要啊,一旦认为他挂掉,那就不存在了啊,就不会再跟你有任何的数据的一个往来,因为认为你已经不可用了。这是一块信息,那我稍微回顾一下啊,首先呢,这个name note和data note1启动的时候,Date note主动向name note进行一个汇报,主要汇报的信息就是告诉他我这里面有哪些块信息。告诉他,然后呢,内蒙豆呢,就会记录下来有哪些块是正常OK的,那才告诉他哦,我已经收到,收到之后这豆呢,每周期也是六个小时,再向这个内note汇报,说我这里面有哪些块信息是活着的啊好。
05:05
那同时那data not,诶,每隔三秒会告诉内内note,我还活着,我还活着,一旦说超过三秒还没有回复,那他要等说时间有没有超过十分钟,超过十分钟之后,我再给你十次机会。那也是30秒还没有收到,那就认为你彻底挂掉,彻底挂掉的后果就是不会再跟这台data note进行相互的数据的读写,认为你彻底的死掉了。那行,那下面呢,我们这里面看有一个说咱们有六个小时周期汇报,对吧,那这个参数是哪一个参数呢?是这个参数。啊对,Note向内not周期汇报默认周期,它那这个参数说block report对吧?哎,汇报那这个单位是什么呢?单位是毫秒,那你看这个值啊。给你们看一眼。找到HDFS。
06:02
对吧,哎,这个值,那这个值呢,它是毫秒值,毫秒值的话,你先干掉三个零,那就剩21600,那你21600是多少秒呢。计算。21600你除以一个3600秒,那就变成一个小时呗,3600秒等于是不是六个小时啊,这是这个值啊,六个小时汇报一次,那六个小时data note呢,他得查看自己的这个节点,比如说我得看一下自己的节点有哪些块,是否有损坏,它是不是得有先制查呀,制查一下这个块没有损坏,然后才会跟内not进行汇报吧,啊,那他制查的周期是多少呢?也是六个小时。哎,其实正常的工作原理呢,是他先查一下自己的块,哎,有哪些是完好的,完好之后,然后六个小时就正常的查完,立即向内note进行一个汇报。那这个值叫data node啊rey啊scan扫描嘛,哎,扫描自己的相关块信息看一下。
07:08
对吧,哎,他自查的周期也是六个小时,查完之后立即向内蒙诺的汇报。OK,那是正整几个值啊果记住啊,在生产环境下,如果你觉得这个时间比较长,因为你的机械啊比较差,那你就要这个查的这个时间就要快一些啊,以免呢产生这种,嗯,你你已经坏掉了,然后你还告诉他能用啊,那就反而降低你相关的一个效率啊。
我来说两句