00:00
好,上节课呢,我们把这个name note和ton的一个工作机制给大家讲了,那这里面提到两个概念,一个叫镜像文件,还有一个叫编辑日志,那么来详细看一下这两个内容。首先打开PPT看一下,说name note被格式化之后啊,将在OPT model啊,Hi data temp DS name current目录中生成如下文件。对吧,那这个目录呢,其实我们已经看过啊,如果你刚初始化完的话,它会形成这个,那后续如果有内容的话,比如说你看我们现在。现在已经这个集群啊,经过大量的这个增删改查的一个操作,那现在呢,这里面记录了海量的这个数据啊,那就不是最原始的样子了。打开。那这里面说这个FS em images是ad文件系统中原数据的一个永久性的检查点,其中包含ADS文件系统的所有目录和文件的I know的序列化信息,哎,比如说这里面包含着啊,ADPS的所有目录相关的一些信息啊,一会呢,我们就来看一下这个镜像文件啊。
01:07
啊,剩一个呢,是edit文件啊,那这个文件的特点呢,就是不断的往里面追加这种记录操作集群的一个记录,哎,主要是用来存这个的。那还有一个文件叫SSE啊,Testidd文件保存的是一个数字,就是最后一个文字文件,我们大家看一下啊。看一下他是谁。在这,嗯,在name not下K一个知道吧。嗯,是这个啊,查看一下,那当前值呢是356,那356表示什么含义呢?你看这个值。对吧?哎,也就是说当前啊,啊最新的这个it文件,那它末尾是356,那我这里面记录的就是当前最新的这个356,那后面还有一个沃son,那沃son有什么含义呢?Cat,那这里面记住的是当前name no的空间,对吧?啊这个命名空间对应的一个ID,还有最主要是它集群ID。
02:08
哎,那有了这个集群ID啊,你才能找到你对应的DN小D呀,对吧,之前咱讲过NN和DN它俩的集群ID是一个的时候才能对上二号啊,表示一个集群行,那这两个说完了,那下面这个镜像文件呢?哎,这里面我们来看一下这里面到底有哪些信息啊。呃,有哪些信息由什么命令来看呢?哎,主要由这两个命令来看。一个呢叫OIV,一个叫OEVOIV呢我们可以查看的是镜像文件,OV呢可以查看的是E,那具体这个命令怎么用?来看下面这块,说ADSOIV-P,哎表示呢,我这里面是什么文件类型对应在这。啊,如果啊,你正常去这个查看镜像文件,你看不了,人家说能不能吗?哎,我们来试一下啊,正常你去看这个镜像文件啊。
03:04
查不了。真的你发现这里面是不是都是乱码啊,啊,你根本看不出来它是啥,那这时候啊,你们我们就需要这个转换一下这个格式啊。把这拿来。哎,我们得这么去看。就这啊好看一下啊OIV查看镜像文件,那么首先呢是杠P叉ML表示的,你是什么文件类型啊,我们用这个叉M文件形式进行存储。呃,还有杠I,杠I呢表示你要查看哪一个镜像文件啊,之后杠O啊,也是转换之后,你把这个文件输出到什么路径上,那下面我们来操作一下。啊列一下那看镜像文件,那我就看就看它吧,啊就看它HDFS对吧?哎,然后OIV查看它,然后杠P,我要将文件转换成叉ML,然后杠I,那我这个杠I的文件就是它。
04:15
复制。粘贴好,然后杠O,我输出到一个路径,那我这里面输出到吧,这个路径比较干净。哎,说啊这里面呢,说啊file not啊,这个found exception啊,啥意思呢?比如说你在传输过去之后,你得来一个名字,那我们叫FIMA。啊,FS一面。点T叉L啊好走。那这样呢,就复制过去了,我们来看一下啊,我们。再创建一个端口,那这里面就有一个FS image,那如何把它传输到这个Windows环境呢?叫下载FS image回程。
05:07
哎,然后我们选择电脑桌面。哎,传输完毕,传输完毕之后,我们看一下右键not pad加加打开,哎,新债打开之后它就会成这样。哎,前面这些啊,这些信息呢,我们先不看,直接看这块儿。看这块看这块这里面你看一下这有谁啊,说有temp,嗯,还有一个output,还有苍老师,那这个是谁呢。回忆一下这是谁?把它打开,苍老师hadoop output temp是吧?哎,就是我们当前这个根目录下对应的存储的文件信息。啊,也就是说这里面记录的所有文件存储的信息,然后这里面有ino的,哎,存储呢,都叫一个ino的节点,那再往上看。说这块啊,它有一个空,那这个空是谁呢。
06:03
嗯,这块不是没有空啊,我看看啊。嗯,DR行,往下走啊,往下走。那有了这些之后,那他前面说啊,每一个文件呢,它都有一个ID,那这个ID号有什么用呢?往下看。你看我选中了一个他,哎,我把这一块呢,整理一下啊。好,那整理一下之后,呃,我随便选一个吧,选一个刚才的,嗯。找一个。它也行啊,就找他吧,啊找他他呢,你看啊,我一点它之后,你发现哦,它是一个trial的直节点,那它是不是一个trial直节点呢,你看。什么叫直接点,它下面是没有儿子的,那如果下面有儿子,那它就是一个负节点,我看这个里面有他也没有,那应该只剩下temp下面有。
07:08
子节点了,那我们找一下这个time啊,找一下time。Output,常老师。在这啊time,然后点它,那这是呢,这个time对应的这个节点号,然后你往下看,那它下面是不是就亮了,哎,高亮了,高亮了之后你看它,它是一个什么节点,负节点,那它下面呢,有两个子节点,一个呢是116387,一个是16425,那16387是谁往上看。Hi度法盐,那你看一下这下面它有没有hi多盐,我点。是不是他呀,哎,有这个还子言,那还有一个log斯,那烙斯看看是谁啊,Log斯点它。
08:00
啊。是不是就是log斯啊,嗯,那还记得吧,其实我们这个嗯,As它存储数据是不是按照这种这个树形结构进行一个存储的,还记得吗?哎,仿照的linu这种目录啊,那它怎么定位这个文件与文件之间的关系,其实就靠这个啊note节点对吧?啊note I notde啊这种方式啊去定位的。那大家思考一下,看一下哈,这里面有没有存储说哪一个文件块的相关信息。比如说我们这个hi3.1.3TDJ,它是不是应有三个文件块啊。那它有块相关信息吗?你往后找。哎,这有一个块,但是它是吗?他会说我这有三块信息,每一个块存在哪一个服务器上吗?比如说这里面存在还多个102,存在103,存在104。你看这里面有吗?有什么102103104吗?没有啊,它没有,那没有的话,它怎么是定位出来,对应的我这个文件块存储在哪里呢。
09:02
哎,记住那这里面是这样啊。比如说name no里面啊,它并没有存储说啊,具体哪一个文件块信息存储在哪台服务器上。那怎么办呢?哎,是data node,他一上店的时候会主动的向name node汇报,哎,汇报我这个。Data里面有哪些文件框?哎,他会跟我进行一个汇报啊,后面我们讲that date note工作机制的时候啊,再给大家说这里面有个印象啊,这是这道题。
我来说两句