00:00
好,下面呢,我们讲一下这个镜像文件和编辑日志,你说刚才我们在讲这个ton和NN的工作机制的时候啊,里面有两个核心的内容。一个是镜像文件,一个变性日,那我们看一看里面到底是怎么存数据的。长什么样,我们来。讨厌啊。我们把我们的群打开。大家猜这个镜像文件和变证日存在哪里啊?我也知道是。存在电脑里呢,对,没毛病。肯定是。那么这肯定是不是它是name node启动的时候加载的数据吧?肯定在这个。
01:01
这个路径熟吗?老板是不是一个内的,一个内的啊。在里面啊。CD再来。好,那这个呢,是到127对吧,啊这么多,这是编辑日志,这是镜像文件,那是内部弄的,里面有这个。那还哪里应该也有他呢。三个电动的是吧,它是从这里面去拷贝东西的那。原来是什。好,那这里面也有,那我们。
02:00
这少了一些啊。这个104是三弄对吧,这个下面这个是内弄的对吧,那看里面的内容差了一些是吧。呃,至少这个是24~127是有的,那下面这个呢,是一到127对吧。再往下呢,这是。幺零。105对吧,105127,那这也是105127。那再往下还差一个。这里面还有一个。ID还有一个。那跟上面的比较的话,其实最主要的核心是它和。像上面那个啊,那个你可以忽略不计啊,那个一到24那。那你看一下。基本上编辑日志和镜像文件他们都是有的。而且都一样的。和经验文件。只不过呢,在这个name里面多了一个in progress,这是啥意思啊?
03:07
是不是在他在检查点的时候,是不是提前滚动一下,哎,滚动完生成一个,它用于干什么。接收这个当前是不是来操作的这个动作。干这个啊,好。那你看一看这个。K还是E?ID看看是多少哈。猜下多少?128 128跟谁能对上呢?你看这是什么?In gra对吧,也就说当前你最新的这个啊。要超出这个编制日是哪一个,那就是它的编号是吧。那好,那下面呢,我带大家去看一看具体的。这里面编辑日志和镜像文件都存的是什么内容?
04:01
问一下,查看它里面什么,它里面。看一下呗。试一下啊试一下。二零。127看啊。能看到这里大概是什么东西?Group。IP地址拍度二点七点二点是吧啊。差点。大概是有一个二点,他二点七点二点T这么一个点GC这个内容是吧。大概是什么?其实一会儿呢,我们可以把它转换成我们能识别的XML的文件啊。看看啊,那我们看一下这个镜像文件怎么看。再看的那个S是你妹的。那这个更更离谱是吧。根本看不清里面是什么啊。
05:01
属于这种序列化的文件内容。然后同时你看我们现在的客户端。被拒了是吧?啥呀,乱码的。这个坏的有点。上面都没了呢。啊,右键啊,再换一个,再克隆一个。所以说我给你把这个错误你们犯了啊,不要再管了。来,回来。奥D猫动吧。在吗?Type DS。这么多内容。呃,那下边我带你们。
06:03
把它删掉。就掉呢,我格式化一下之后,然后带你们看一看。怎么看呢,叫HDFS。下命令啊,其实是O。那打完之后,这里面有一个OIV和OEV那。你看OV是什么?叫line to。联系你离线的镜像文件。啊,其实就是允许你去查看这个镜像文件,通过OIV。那么O是什么呢?叫apply。查看的是编辑日志。啊,两个内容,那下面我们先查一下这个文件吧。怎么用的?OIV。
07:02
个屁。杠P,然后加上麦。叉什么意思呢?就是你最终你要将FS转换成什么格式进展展示。转换成脉动。那还有下面呢,还有参数叫杠癌。该呢,表示你输入的是哪一个文件,就是你要将哪一个文件进行转换。看一下这里面有一个。FS妹子幺零。五啊,随便看一个零。那后面还有一个参数叫杠工。也就是说,你要将。他。转换到哪儿?起个名字,那这块呢,我就转换到这个当前目录啊。那起个名字叫F。几个名字叫。
08:02
少一个是吧。这个对吧,啊,小六我没毛病啊。走。好查看。那这里面就来了一个FS妹子开麦了。好看一下。That time out。这一堆呀,是吧。有点太大了啊,一会儿呢,我重新格式化一个开。拿过来。打开一个例子啊,这里面有。呃,来到这儿。创建一个文件。找F点。
09:01
再进来格式化一下shift加S。从上往下看看能看出啥不哈。Name,这是有一个last not ID 16405,这是一个direct路径。路径下边呢,按硅谷直接权限啊。下呢,这个是,诶找到了一个。有一个潘金莲对吧,潘金莲副本数是二。Start加C。
10:11
看这手干啥呢?不是立即能使用啊。解除了我们后面的安全。好,那这里面看一下,这里面有一个潘金莲是吧。他有一个潘金莲啊,这是一个副本书围二啊,然后。这个是相的权限,再往下呢,又有一个。面镜是吧?这是吧,啊,眼镜副本数是三对吧,副本数三。那再往下这是它家的这个卷线啊,下面这个呢,是它的块地啊。再往下是有一个班花。兰花是第一个。再往下走,这还有一个校花。
11:00
校花在这儿呢,你再往下走。发现没发现一个什么问题。哎,这里数据怎么不全呢。你看你当前你查的这个是不是最新的。说不是啊DMS。我解压的是不是105啊。又又有滚动了是吧。是不是105啊,现在都到了多少了。129了是吧,啊,它肯定不是这个最新的,所以说在里面它也是一直在滚动的啊。OK,那么我们再查一下他的编辑日志,比如说这个编辑日志里面存放的。是什么内容?那还是一个H。DFS。OE。刚才是。
12:00
IOIV是不是,但是以那个简写啊,OE是中间的啊。那还是杠P转换成碳麦都合适。那输入文件是谁呢?杠I-I来一个。零。幺零。对吧,啊这文件,然后呢,杠O输出到ES。第二,擦白了行。执行完毕,这里面就多了一个一下。然后他。
13:00
点叉L。这个叫。Operation其实操作啊。这个是暗的。这个你们看不到相应的操作啊,这样我把那个集群全部杀死掉啊,然后呢,向这个机器上传一些内容,你看一看我这里面。它是如何来执行的啊。啊,现在比较简单。到年。跟你说今天这个集群得被人折腾。折腾个几个来回,一会内不到的各种是吧。知道。就是你熟了之后,你就觉得这个集群操作。差一点。简直就是。
14:01
没有,你这太简单了。但是呢,女儿入门的时候。现在特别痛苦。很怕这个把这个机器整坏了,然后之后不知道怎么办。其实没事儿,你就给他整坏了呗,能咋的?在克隆再装呗,反正。这个是这样啊,那下面我来破坏一下这些。呢,二杠F这个老师。啊,千万别把,别忘了把三给我杀了。同学,就这样啊,如果这个date和log没三,就说只把用23了,其他没三。绝对出现幽灵情况,也就是说你这个103和104上的这个带动的。起来挂,起来挂。这就是这个。情况啊,后面的话给大家讲退役纠结点的时候再说这个原因啊。
15:05
好,那就是这样,那下面怎么办。格式化内部HTS。明白。格式完了吗?哎,格式化完了之后,我带你们去先看一眼。看眼。看我直接进到这了。目前有电吗?没有吧,来,进来。到这。Card。看一下这里面是吗。是不是连变异日都还没有呢?目前只有一个空的这个FS镜像文件,那你看啊,马上我再启动。
16:02
对呀。那的是两走。啊。多了一个什么。多了一个IN001对吧,是不是多了一个呀。那多了一个它之后,下面我们向这个集群上传。或者创建一个路径吧。High到白白还是嘎。DR-P。爱的唯独input。
17:05
我创建一个路径对吧,我在上上面传一些东西户的。这个啊。潘小潘到硅谷。做完这件事情的话,做完这事你检验一下看有没有。又是硅input有个小派对吧,哎,执行了这么一个操作,那么下边我们再来查看一下这个。镜像文件里的内容。也就是说。这里面存的是什么?呃,H第二个P。Ovs一辈子。
18:01
告白。F。杠O。杠T卖了这意思吧,OK,走。那他就有了,艾特一下呗。粘过来之后你找吧,你看这里面什么内容啊,这有一个路径。之后什么也没有了。那你发现这个原数据。我干了两件事,创建一个目录,又上传一个文件,居然这个FS妹子什么也没有。这能说明。
19:05
他说只在内存中修改了,还没有合并这个FS吗?那按理说这个内容是不是应该在编辑里面呢?坚持一下,我们说话啊。那依然是HDFS啊E。杠一再卖喽。干。手机。然后呢,输出文件杠o e.XLOK。测试完之后派一下ED点三。不少不少,我就执行了。两个命令。到底都干了什么事?
20:02
就这么两个上传,一个创建路径,一个上传文件,就做了这么多事情。所以说并不是我们想象的啊,两条命令下去之后,通过给我搞定了,那看一下吧,这也是这个啊,这个日志的一个开始,下面呢是op,就是操作operation。Make d,我们确实执行的每个D,对吧,然后先创建了一个。然后再往下又op make,又创建了一个。在后面创立一个S。也就是说这个多级目录它是分步走的。啊,一步一步走的,那再往下看,又来一个那个。爱的硅谷。那你这是三级目录,那我就是执行了三次的操作。那好再往下,我们是后面开始上传一个小潘呢,小潘。那么上传一个文件记一下,看看有多少。
21:00
首先,Op还得等。添加。添加到哪呢?优爱的硅谷音部的小盘点T点。他是不是并没有直接写小点产?先写了一个C。那然后往下找下。叫op。这个block ID分配他的。ID。分配的外力。那然后再往下叫赛是什么?在人的。其实是生成时间窗。那再往下叫O。添加块信息。那就是article input小分点。掉一下这个操作结束。依然是克他。上,再往下。叫欧耶rena。
22:03
所有的都完事之后,将这个靠心改成了最终我要上传的。你看一看,就这么一个上传的操作,执行了几步啊一步。是否?是不是整整六步?所以说这是记录他的操作日志啊,叫操作日志啊,快速的记不下来。所以说呢,这个操作日里面记录的东西,呃,比这个FS妹子啊,记录的是多一些的啊,是快一些啊,他优先先写到的是。编程式里面所有的操作直接往这里面去写。写完之后,最后呢,这个编辑日志和镜像文件里的内容,由这个secondary内note对咱们进行一个合并。
23:02
呃,像下面这些操作呢,你可以去看一下这块的这些啊笔记啊会不。包括这个OIV和OEV如何来使用,这这里面都有相应的基本语法。包括这是之前的啊。声道有问题。F中没有记录块对应的date note,为什么?你看到了这里面说有哪个电动的在这里面吗。没有。说你这个集群上有多少带动的。是你这里面没看到。为什么呢?它是在集群启动后,要求这个data note动态的去上报这个。数据块的信息。并间隔一段时间再次上报。这个是必须要求是启动集群的时候就进行快的数据的上报。为什么设计成这种机制呢?
24:02
如果说你这个记录死了,那比如说这个节点啊,这块它就坏了。啊,而且你还是,但是呢,你这个内里面记录说有这个数据,其实呢,这个物理上这东西已经坏掉了,那这东西就挂掉了,那现在的采用的是一种动态的,只要你一上店,哎,你要求你必须给我回访。到底活着还是死的?同时呢,这里面还会间隔一段时间再次汇报你,这是我的。等等这些状态啊,所以说呢,这个能能保证集群数据的这个啊。后面再讲这个带套的工作机制的时候,给大家收藏。这是这个下面还有一道什么。是个内,如何确定下是开机启动的时候合并哪些。它是有一个C。Test ID那里面是不是记录了最新的?就根据他啊。
25:00
可以去合并当前哪一个是最新的。以前合并了,他就不再加载了啊。
我来说两句