00:00
OK,那现在我们来看看啊,那这边所谓的并发力度优化呢,这边首先呃,上面来就有一个什么概念,叫做这个什么segment,对不对,上面就有segment,那segment是什么?大家还记得吗?还记得segment是什么吗?还记得吗?是不是不是忘记了呀,注,注意是这样的啊,我们的segment呢,是这个东西,诶咱们来一个空白的东西啊呃呃呃,Partan对,可以跟这个partan对应啊,那这个指的是什么?Segment是这样的,来我们前面讲过,我们定义完一个cube之后,在这个麒麟当中,对不对,我们需要干什么,需要每天都要进行计算,然后每天我计算完之后的结果是不是存在h base当中,那在h base当中是不是就存到一张表里,我一天存一个表,一天一个表,那是不是这些所有的表组合组合起来才是这一个Q呀?对吧,那也就是我每天的一个表,我都管它叫做一个segment,就是一天一个表,一个表叫做一个segment,那其实说白了这个segment就是我们h base当中一张一张表,说白了就一张表啊。
01:06
当然呢?这个segment是会合并的,对不?它是会自动合并的,按照我们前面那个策略,是不是七天合并一次,然后这个28天合并一次啊,对不对,它是会合并的,它合并的啊,这是咱们这个所谓的segment,就是一张表,就叫做一个segment,那这边我们所优化的东西是什么呢?我们就看一下这俩东西就行了,先看这个位置。Killing h base点点有一个是什么呢?还是这个ing h base点点count点,这俩分别是什么呢?其实跟我们h base的reason是相关的。因为说白了S格就是表,表下边是有region的,对不对,表下面有region的,那这边我们提到H的region,我们应该能想到什么呀,能想到h base表的region的分裂策略对不对,那我们H表我们这个region那边咱们应该有什么知识点啊,对吧?首先第一个点就是诶h base表这个region的自动分。
02:01
对不对,就是那个split自己split就是默认情况下,你在HP里边建一张表,那随着这个表的数据量这个逐渐的增大呢,我后边会进行分裂T对不对,那分裂的时候呢,有这样的三种策略,一种策略呢是什么?是当你这个诶region,但这个表啊达到一个固定的阈值,诶默认十个G,达到十个G的时候,我才进行分裂,这是咱们第一种这种策裂,那第二种策略是什么呢?就是说它也是达到一个阈值之后进行分裂,但是那个阈值呢,它不是固定值,它是一个逐渐增大的值。对不对,这是咱们的第二种分类策略,还有一种分类策略,还有一种分类策略是什么呢?就是诶不分裂。就还有一个策略是不分裂啊,就是说如果说你把它的分裂策略设置成这种不分裂的,那我们的这个region它就不会分裂了,就一直就是这,诶一直一直就是这这样的几个region就不会再分裂了,这是这三种分裂策略啊,三种分裂策略,那OK,我们现在讲的这个值是什么呢。这个值它会把我的H当中那个分裂的值给它覆盖,也是什么意思这块。
03:03
咱们这儿呢,不是刚才讲了吗?三种策略,一个是达到固定阈值进行分裂,一个是,诶那个阈值是逐渐增长的,但是那个逐渐增长增长,随着这个region个数的增加,那个阈值最大是不是也是那个十个G啊,也是十个G,是这样的,那这边咱们那个值呢,你调整的其实际上就是咱们上边那个值,实际上调整的就是上面那个值啊OK,好,那现在呢,我们这个呃,继续啊,那也就是说它默认值是多少呢?它的默认值呢,是这个五个G。默认是五个G啊,那咱们调整它有什么好处呢?你调整它呀,如果说你这个值越大,那越大说明什么?说明你这个可能分的越少。越少,那region针少,那我查询的时候我可能并行度就低一些,对不对,这是这点,那如果说你这个值调的小,调的小,那我这个region针是不是分裂的快,那分裂的快,那我这个是不是就是说我region震多,那我查的时候我并发度可能就高一些啊,诶是这样的一个原理,这样的一个原理啊,这是咱们这个第一个参数,那下边这个参数是啥呢?下边这参数是它来h base这个点count点什么意思,就是个数的这个最小值。
04:11
最小值,那最小值说明什么?说明其实啊,比如说我这个最小值,我给它设成十。十乘十,那这样一来的话,就相当于我在h base当中,我刚建完这个表,我是不是就有十个分区,就有十个分区,那就说明相当于是什么?相当于是咱们学h base,当学h base的时候,咱是不是有一个域分区的概念啊,对吧,就是在建表的时候,我先给他设定好我有几个分区,也就说在这呢,你可以通过这个参数去调整这个域分区。调成一个预分区,那其实说白了,这个所谓的并发力度优化全是在搞什么,全是在搞咱们这个h base当中它的这个region。这个表的region region啊,也就是说你要想让这个region多一些,那你需要怎么去调呢?多一些你可以把这个值调小一些,调小一些,那然后呢,呃,你还可以进行预分区,那把这个呢,你可以调成调成十,调成20,那这样一来,那这个数据,那这个个数就会多一些,对不对,那你要想要region小一些呢,那我可以把这个值相应的调大一些,那这个最小值呢,你就不要再给它设成十了,你就让它默认值就行。
05:11
是这样的,那这就是所谓的并发力度优化,并发力度优化,那这个东西我们简单了解一下就可以了,那这个并发力度优化呢,我们通常啊,呃就呃使用咱们麒麟的这个默认值就可以了,因为它的默认值呢,肯定都是人家这个就是说优化好的优化好的啊OK,那这就是咱们所谓的并发力度优化,这个其实是那个没什么东西啊。
我来说两句