00:00
好,接下来呢,我们来详细讲解一下HDFS的组成,那讲它之前我们先来看一下网站。嗯,这是hi杜op的官方网站啊,然后之后呢,我们点击开庭star,那来到这之后啊,你会发现上面这个hi杜它是3.2.2,但是我们现在使用的是3.1.3,那如何来查看它的使用文档呢?那正常情况下你可以点这嗯这呢应该好用这样吧,直接把它删掉。回撤。回车之后啊,这里面列出了所有版本的对应的这个说明文档,那我们就打开这个3.1.3的打开,诶你看来到这个页面之后,就是3.1.3相关的操作,那左侧呢,有这个general整体common as web deals。还有呢,对应的雅安相关操作,那我们来看一下HDFS的。结构。点开它之后往下看。看到这张图了吗?哎,这是它官网的一个源头IGTFS的组成架构啊,最多那这个就跟我们的文档上一样了哈,我们来看一下。
01:07
嗯,打开第一块,首先闪亮登场的是name node。也就是他,他负责什么事呢?他是一个master,也就说是一个主管管理者,你认为是老板对吧?哎,老板,那他管理着as的名称,空间,那所有文件的数据。是吧,哎,都在这里面进行一个存储。再往下设置副本策略。那好,我这个集群上它有多个文件。比如说有一个A,有个B,有个C,那我可以设置A呢,副本是一个,B的副本两个,C的副本是三个。那由谁来管理呢?啊,由这个name弄来,记住说A呢是一个副本,B是两个副本,三是这个,C呢是三个副本。然后他会告诉这个they no。维持几份副本啊,所以说可以设置这个副本策略。再往下呢,说管理数据块的一个映射信息,哎,那这里面给大家举个例子哈,哎,我们之前传了一个GDK,还记得吧。
02:08
GDK呢,它大概是200兆左右吧,假如说我们就200兆哈,那上面呢是128兆,下面呢,假如说是72兆。那我这是形成了两个文件块啊,文件块,那文件块的话,假如说我们生产集群啊,有。舞台。五台生产集群,每一个文件框呢有三个副本。那他怎么存呢?那怎么存呢?假如说128兆这个,哎,我存储。第一块对吧,然后第二块。第三个副本升完了。那我再来一个。呃,这个73的,哎,我这里面存储一块。那是不是我第二块就一定在这个二三呢?不一定,我可能在这儿二。哎,这是它块的一个特点啊,比如说第一块和第二块它有可能没关系。
03:00
哎,你这个128,你该存你的,我存我的。哎,这切回来对吧,这是所以说由这个name node来管理这个块的一个存储信息,谁来记录呢?Name node来记录。谁在什么位置上?再来处理客户端的一个读写请求,你看这个客户端要进行对集体访问的时候,那先访问谁呢?主要先访问的就是name note,由name note对它进行个应答,因为name note里面存储着整个集群里面所有数据的相关信息。再往下,那下一个是date note,那它呢,就是一个干活的啊slave。它呢是用来实际的存储数据的地方,实际的数据块就存储在这个data note上,对吧,对NOTE4。执行数据块的一个读写操作,比如说实际来读写的时候,比如说客户端来真正读我数据的时候,他跟。Date note进行一个打交道哈。
04:00
好,这是这么两块啊,Name note和对note,那再来看下一个,我把这个截出来啊。那下面呢,把它打开。客户端,那客户端,哎,我先先讲下一个吧,我先讲图N啊先讲图N,那看这张图里面是不是没有ton呢?你发现有托N吗。好像没有,那为什么说没有这个托恩呢?那后面我们会讲集群的一个高可用啊,高可用我们通常呢是用两个name node。啊,用主K包啊,搭建两个内蒙nott来管理集群啊,是这样的,那只有我们在测试的时候,我们愿意用这个图N进行一个工作啊,所以说它这里面并没有啊这个to恩啊,那么来看说to恩恩呢,它并非内no的热贝。啥意思?热贝的话,如果内蒙note挂了,那我这个ton会立即代替他进行一个工作,但是呢,很遗憾他不是。啊,这是老板,这必定是小秘,因为老板还是有一些秘密的啊,这个秘书是不知道的,对吧?那当内蒙诺挂掉的时候呢,并不能马上替换内蒙诺进行服务,它只是辅助内蒙no的分担期工作量。
05:13
啊,并定期合并,合并这个,呃,镜像文件和编辑日志,那这个两个名词呢,后面我们会讲啊,先不要着急啊,有个印象就行了,并推出文件不弄了,在紧急情况下可辅助恢复name note,那也只是恢复一部分数据。为啥呀?因为秘书知道的事情跟老板知道的事情还是有一定的差距,那差距那一部分就是损失的数据。那下面我们再来说一下这个客户端。啊,那客户端啥含义说客户端啊,是负责文件的切分,文件上传ADPS的时候,客户端将文件分成一个一个的块进行上传。那怎么理解呢?嗯。给大家解释一下怎么理解呢?那假如说我们还是有这个200兆的这个文件。
06:03
对吧,那我们分成128兆一块,然后还有一块呢,是72兆。那谁来分呢?哎,由这个客户端来分。那客户端按照什么来分呢?记住它按照的是name node的文件块来分。默认情况下,文件块就是128兆,那我就要将它分成128兆一块。那这个文件块能不能改呢?能改。我们可以如果觉得文件块大,那你可以往小了改,如果觉得文件块小,可以往大了改,通常在企业里面这个文件块大小呢是128兆。或者是256兆,哎,这两个值是比较多的,那后面会给大家详细说啊,到底多大合适啊,在生产环境下呃,用哪种。这这块啊,负责切分。再往下与name note进行一个交互,获取位置信息,那这很显然,这是这是客户端,这是NN,你要想无论是读数据还是写数据,都需要跟name notde进行打交道。
07:03
与data进行交互,读写数据。也就是说你跟这个。内蒙沟通完了,说我要读数据,那实际来读的还是DN的数据。Name弄呢,是告诉你允许不允许读,或者说我这句上有没有。哎,那他说了算,那实际来干活对接的是这个not。再往下客户端提供一些命令来管理as,比如name node,格式化啊。那像我们那个执行的什么HDS。啊,Name note,然后杠ma这些其实都是客户端命令啊,一会儿给大家说一下什么是客户端。再往下客户端呢,通过一些命令来访问APS,对集群进行一个增删改查,那这里面给大家说一下啊,什么叫客户端。嗯,我打开一个这个页面。这一面是我们的集群对吧,那看看啊,我现在做这么一件事情。
08:01
我把out删掉。那其实这个页面就是一个对as的一个客户端。啊,对集群能够进行侦查改查相关操作的,就是Q3,那当然你看这里面在这个页面上,这里可以新建一个AA。创建对吧,然后再把它删除掉。这就是扣的,那还有除了它之外,你看这里面啊,我之前是不是有一个hi do FS啊杠,Make DR。是不是也是对这个集群进行一个操作呀,那你看刷新。那我刚才那个命令,它也是一个客户端。啊,这些都是够的。行,那这就是这个APS相关的一个啊组,那这主啊就属于一个了解内容,大家只需要知道啊,这个APS呢,有node node客户端以及ton,那么他们各自的这个啊,都是干什么的老板。打工的。
09:00
秘书,还有呢,来访问就客户对不对,哎,跟我这个集群进行交互的,客户可以进行读写。
我来说两句