00:00
好,接下来呢,我们来看一下灸三码的一个原理。呃,金入三码呢,它是开do3.x的一个新特性,那它来解决什么问题呢?那首先我们来看一个事儿啊,呃,HGDFS啊,它有三个副本,我相信大家都不陌生,对吧?那它在底层hi doop当中是怎么存储的?还记得不?哎,一个300兆的数据,这是hi doop5台数据的一个集群,对吧?它存三个副本的话,那就是一份,两份,三份。对吧,大家觉得怎么样,这三个部分。你是怎么评价他的?是不是从可靠性来说,它是一个非常高的一个可靠性啊。对吧,哎,任何这个两个挂掉,我都能够保证集群安全稳定,数据仍然存在,好,那它带来的这个损失是什么呢。是不是你的存储空间浪费了,比如说用这个空间,哎,去换这个可靠性。好,那也说你这个明明是300兆的数据,我用了900兆的这个存储空间来存储。
01:04
好,那这个是不是有点浪费呢。那到了还多3.s啊,它就引入了一个叫基三码。他怎么玩的呢?它呢是采用计算的方式来来保证数据的一个可靠性,比如说这是一个300兆的一个文件。他会将这个数据。你的数据本身我拆分出来三份。哎,三分啊,这这是其中一个算法啊,拆出三分,我们后面会教大家好多算法,那假如说这是其中一个,那这种算法呢,它会拆出三个数据单元,对吧,一张100兆,100兆100兆,然后呢,再形成两个。校验单元,每个校验单元100兆,100兆。好,那最终他在这个。集群上的存储空间占用多少?只占用了500兆?那它能达到一个什么效果呢?任意两台服务器挂掉任意两台啊,你可以是两个校验单元,也可以是两个数据单元,也可以是校验单元和数据单元的一个组合,都可以任意两个。
02:08
他能够通过计算的方式,再把再把你丢失的那两个单元给计算回来。也就是说,你任何两台挂掉,我仍然能保证集群的安全可靠。那从这个存储空间上,我可就省了很大的空间呢,你原来明明应该是存900兆,现在呢,我只变成了500兆。对吧,效率大大提高,那它那这个没有便宜的买卖,对吧,你这个存储空间是省了,但是它带来的这个损耗是占用了什么资源呢。是不是占用了你的计算资源呢?哎,你得占用你的CPU,你CPU参与的这个呃程度就会更高一些,OK吧,啊,用这个计算去换你的存储空间。好,这是旧三码的一个原理,那下面我们来看一看哈鸠三码的一些基本的命令啊,比如说第一个呢,就是这个adsec查一下啊。
03:04
随便来台机器啊as ec OK,那这里面呢,是你纠三码相关的一些命令,你可以查看这个里面,哎,这个纠三码呢,它有好几种算法。啊,我们执行这个命令就能列出来它所有的策略啊,我们也叫算法,OK,那还有呢,添加策略你可以自己去添加啊,可以获取某一个路径的这个旧上码处理,它的特点呢,是针对某一个路径啊进行设置,这个路径按照什么方式进行存储。非常灵活,一个一个路径为单位,为单位。OK吧,啊,那我还可以呢,用完这个策略,我想把这个策略删除,那也可以删除,还有呢,我可以对某一个路径设置什么样的鸠山策略。OK。再来下面这几个。哎,一个呢是哎,开启某一个鸠删策略,一个呢是关闭某一个鸠山策略,好吧,那什么叫开启和和这个删除呢,我们来试一下哈,把它打开,然后呢,List列出你当前这一时刻所有的。
04:10
鸠山马策略。看你这个这样吧,再来一下。啊,这是它列出来的这个纠三策略,你看啊,这里面什么意思呢?说RS啊十杠四杠1024KB啊,然后呢,R3杠二杠1024啊六杠零这啥意思啊,然后其中呢,说上面这个呢,是DC包啊,没有开启这个也是DC包,只有这个六三。杠1024,它是开启的。然后下面这个策略,这个策略,哎,目前呢,是有五大策略。对吧?哎,那它分别代表什么含义,那下面给大家解释一下啊,来到这,我们先以这个三杠二杠1024为例,给大家说明一下这是什么含义,首先呢,这个RS它表示的是使用RS这种编码,对吧?相当于咱们之前学过那个CRC对吧?CRC有CRC32CRC16对吧?还有什么MD5加密,还有RC哎等等一种加密算法,那这里面呢,是纠三算法,OK啊那它这种算法呢,是有三个数据单元,看到吗?三个数据单元,然后呢,两个校研单元。
05:18
这是二呢,表示两个教学单元,一共呢是五个单元,你看三个数据单元,两个教学单元。OK,好,那这五个单元当中任意三个单元存在,记住只要有任意三个存在。那么它就能够保证数据的可靠性,你随便丢,你可以这俩都丢了没问题,这仨保证数据的全原貌,然后呢,你这个交叉它快,它快应该仍然能够计算回来,那还有呢,你可以俩数据换,我通过校验数据也能校验回来。哎,这就是这种算法,那下面呢,我们再来看,如果你说是这种算法。有了上面这个经验,我相信这个大家也会了,哎,还是RS算法,然后十呢,表示一共有十个校验单元啊,十个单元,哎,生成四个教研单元,一共呢是14个单元,那14个单元能达到一个什么效果呢?只要有任意的十个单元存在,那你可以连续挂四个。
06:12
没问题,好,再往下。下面这个是六杠三啊杠1024,那好,那2S啊六个单元三个教研单元啊,一共是九个,那任意三任意这个三个挂掉仍然能保证保证集群的一个安全可靠,好吧,呃,那下面再往下这个是RSG策略,哎策略呢跟上面一样,只剩呢这个编码方式变了啊,采用的是这种方式编码。OK吧,那下面这个呢。下面仍然也是编码方式变了,用的s or啊这种编码速度啊,比这个RS分母速度要快一些,那它这里面含义呢,就是两个数据单元,一个呢,教研单元一共三个,任意一个坏的,它只能保证一个哈,任意一个坏的,那仍然能够啊计算出来啊好,这是这块,那下面这个1024 1024,你看后面都有1024啥意思呢。
07:04
哎,它是这样做的哈,首先呢,你看你这是300兆的数据,它会先把你的数据拆分成300个一兆。能懂吗?它的最小单元是一兆,300个一兆。300个一兆,然后之后呢,再把这个一兆一兆的单位加在一起,加到100,因为你是三份嘛,对吧,你一共是这是R,嗯,这个应该是这个算法啊,这个你这是三份,这时候呢,它把这个把100个一兆加在一起啊,形成100兆加在一起,100兆加在一。啊,是这样一个效果哈,OK吧,哎,它是以这个啊,每一兆进行一个切割,那举个例子,如果我是三兆,嗯,三兆行这样吧。如果我是两兆的数据,那我会有几个数据单元呢?如果你是两兆数据的话,那我只有两个数据单元,因为我以一兆为单位吗?OK吧,然后校验单元仍然是两个,那好,那我要是一个小于一兆的这个数据呢,比如说我就1KB。
08:05
那我几个数据单元,就一个数据单元,然后两个建单元。啊是这个含义哈,OK吧,行,这就是这个纠三码呢,相关的一些啊原理哈。
我来说两句