00:00
啊,那接下来呢,我们要讲的是麒麟当中一些这个,呃,这个原理性的东西啊,一些原理上的东西啊,那这个原理上的东西主要包括什么呢?主要其实包括两个方面啊,两个方面来看这。一个是麒麟的job的存储原理啊,一个是存储原理啊,一个是构建原理啊,一个是存储,一个是构建啊,那这个存储指的是什么存储,其实咱们数据会存,呃,这个Q会存在哪啊存哪啊,是不是存在HP当中,那这个所谓的存储原理呢,其实我们就是去看一看啊,在h base当中啊,它这个麒麟的数据那个QB到底是怎么存的,其实h base当中比较关键的一点应该是啥呀?应该是它的ROK吧,啊也是RO,那这边我们重点一会去关注一下它那个。ROK是如何设计的啊,这是啊第一点,那接下来这个算构建算法是什么呀?构建算法构建咱们得知道我是怎么样从原始数据一步一步的计算成我那个cub的,对吧?这就它所谓的构建原理,那咱们呢,需要把这俩东西呢搞清楚好,那接下来呢,我们先看第一个吧。
01:06
先看一下这个前面,诶这有两,这有两小节啊,一个是维度与度量啊,一个是cube与qba,这就是我们cube当中的一些基础概念啊,那这这些概念大家现在已经是不是很清晰了呀,对吧?什么是维度,什么是度量,我们在讲七零之前是不是先讲的这些基础概念呀,对吧?那这个不用再看了,那接着往下走,Q和q boy的,那这俩概念咱是不是也已经清晰了呀,也挺清晰了,所以这块呢,我们就不用再不用再说了啊,不用再说了啊行,那这块结束之后呢,我们接着往下走啊。呃,其实这里边儿呢,有一个小点,大家可能会有一些这个疑问啊,比如说哪呢,看这。他这呢,为了说明这个cube和qvod这俩概念呢,他给咱们举了一个例子,咱们看一下这个例子啊,简单看一下吧,啊,他说这儿呢,有一个什么电商的销售数据集,销售数集,其中这个维度呢,包括四个维度,时间,商品、地区和供应商。
02:00
啊,这是相当于四个维度对吧,那度量值呢,就是那个销售额啊,销售额一共这样的几个字段啊,完了之后呢,你说这样的一个呃,数据集,你说我们要构建Q的话啊,那应该有多少个q boy呀。要要多少个呀。按照咱们上午讲的几个维度,是四个维度,那就二的四方减一应该是十几个,15个对吧?啊,那他这说有几个呀,它有16个,他是不是没有减一呀,对吧?哎,那你说我减一,我减的是谁呀。我捡的是谁呀?你可以看一看啊,它这16个是怎么来的,咱们看这个图,这个图看着挺挺吓人的,对不对啊,咱们能不能看明白啊,咱们先从最底下看,最底下看相当于是四维的数据对吧,4D啊,四维的这个qvo,那是不是四个维度都有那这一层呢。3D的三个维度都有的对吧,三个应该是C4,三应该是一共有四个,那这个呢,应该是两个维度,C42等于六,那这个是C41等于四,这应该是多少了呀。
03:04
C40对不对,C40是不是等于一,C40是等于一,所以说它其实减我我之前给大家说的是减一对吧,我减一应该减的是谁呀?我减的就是这个零为的,诶大家说这个零维的数据,它应该是什么样的一种形式啊,零为的。你说零应该是一个什么样的一个形式?凌伟。0V其实很简单,零为是不是就是一个值?对吧,零为相当于就是我聚合的时候呢,我没有进行分组,我直接对度量值,对所有数的度量值进行了一个聚合吧。对不对啊,对所有的数据进行了一个聚合,相当于是啊,那所以说那这就是这个所谓的零为的这个结果啊,就是一个值一个度量值聚合到一起,哎,就是零维的,那其实这个零维的数据呢,比我们的这个分析咱们有意义吗。其实没啥意义,对不对,因为只只是一个单纯的聚合值而已,你你也不知道那它跟哪个维度有关系,是不是看不出来呀,对不对,那所以这个东西本身也没有太多的意义啊,所以说咱们嗯去计算这个qbos个数的时候呢,你可以把它包含在里边,那当然你也可以不包含啊,那其实麒麟这边呢,它本身就没有包含这个q boy的,那这个怎么看出来啊,我们打开这个麒麟的页面,点找到咱们那Q啊,你把它点开,那点开之后呢,我们往后拉啊,找到哪找到这个planner planner啊点开。
04:28
那点完之后呢,你看这儿有一个这样的图啊。这个图呢是什么?是q boy的distribution,是不是咱们那个的分布啊,对吧,那这个这个图大家看能不能看懂啊,来我们简单看一看啊,首先这呢有一个qbo的个数几个15个吧,对不对,那这个15怎么来,是不是就二的四次方减一对吧,其实他这也减一了啊,然后你简单看一看这个图能不能看懂啊来看一看。你看我指向中间这个圆圈啊,那这是啥,有一个什么name对吧,NAME4个一。
05:02
对不对,那你再往外拉。也有一个name。这个内幕什么呀?三个一一个零,那再往上拉。两个一,两个零,再往上呢,三个零一个一对不对,哎,大家说这个东西,这个name是啥意思,有没有什么规律。有没有什么规律啊?其实你要知道啊,咱们这里边儿这个整个这个图啊,每一块它就是一个啥。每一块就是一个什么。每一块就是一个QY的,你可以数一数,这一共有15个块,那就是15QY也是一个块,代表的就是一个QY,那这个名字,这四个一是什么意思啊,到底。四维的四个维度都有,我就是四个一能理解吧,那你往外拉看,这这是不是后边三个是一,那就说明什么呀,没有第一个维度,我是后三个维度聚合而来的啊,那这个呢,相当于是后两个能理解吧,那这个呢。
06:05
这个是前两个。能看懂是吧,那这个其实就是咱们这儿的这个所谓的呃,Q报的一个分布图啊,通过这个呢,咱们应该诶能够看出来Q报的个数,以及Q8的一个数据的分布啊啊那这就是呃,刚才咱们提到的这个Q宝和Q报的个概念啊,那这边这个至于这个零为的数据呢,那你愿意考虑在里边,你就考虑在里边,不考虑也无所谓啊这个呃,看大家自己的这个选择吧,啊,这个没没什么这个特殊要求的啊好,那这是咱们两个基础概念,我们已经说完了啊,这个就不再不再重复了啊好,那我现在就把视频录一下。
我来说两句