00:00
好了,同学们,咱们接下来来看一下咱们这个kidding,它启动我们需要对咱们这个环境做一些什么准备,好吧,啊。首先第一步啊,你发现咱们这个文档上需要大家改一下咱们这个雅安的一个内存设置啊,为什么需要改这个东西呢。你发现啊,咱们这个K点4.0啊,它使用咱们这个Spark作为计算引擎和这个插询引擎,因此啊,咱们这个K点4.0对咱们这个Spark任务,它所运行的一个雅安容器的这么一个内存是有一定要求的。它要求什么呢?要求咱们这个雅安容器内存它不能低于四个G啊,为什么会有这么一个要求呢?大家可以打开咱们这个kin4.0的一个配置文件进行查看啊,在咱们这个king.purpose里边,它有一些查询或和这个构建引擎的参数,你就比如说啊,这个kding.engine开头的就是咱们这个kin的一个构建参数,你发现啊,咱们这个kding使用Spark去构建,而咱们这个Spark任务的一个ex内存实际就等于四个G。
01:09
而咱们这个driver内存是吧,等于两个G,它稍微小一点,那除此以外呢,咱们这个kidding还有一些查询参数啊,我们简单看一下好吧,在这个kidding carry里边我找一找啊。我们找诶那个在下边啊,我往下找一找,好吧,在咱们那个K点进行利用Spark进行查询的时候,他也是有一些查询参数的。啊。哎,在下边是吧,咱们这个kding.que开头的,它指的都是咱们这个kding利用Spark它的一个查询参数,你发现啊,咱们这个K利用Spark去查询的时候呢,它的一个专用内存也是等于四个G,而我的Q存也是等于四个G,也就是说大家发现啊,咱们这个K点对于Spark任务的要求最低都是四个G,而由于咱们当前是学习环境,在咱们这个学习环境里边,咱们的那个。
02:02
啊,雅安的容器内存一共给了四个G,你雅安一共四个G是吧,而人家需要四个G,你这个肯定是不够的,所以说啊,咱们需要把咱们这个雅安容器允许分配的最大内存,你得给我改成八个G啊,如果这个你不改,你将来你这个K在启动以后是没有办法进行工作的。好吧,啊,这个八个G啊,是咱们学习环境的一个最低要求,人家这个K的一个官方文档,官方建议我们啊,咱们这个K的一个雅内存,你最好不要低于16个G啊,所以说啊,这个K04.0还是相当吃配置的啊,那既然咱们是虚习环境是吧,我就把这个简单调剂调低,咱们调成这个八个G啊我呃,经过我的测试呢,这个八个G是能够跑起来的。啊,那那这大家现在有个问题啊,既然咱们这个雅安三台雅安容器内存都调为八个G了,所以说啊,你在学习的时候,你的三台虚拟机,你的内存最好也要大于八个G,你想啊,你光雅安都需要有八个G了,你给我来上一个4443台虚拟机你能玩吗?你是玩不了的啊,所以说啊,这个K4.0这么一个课程,如果同学们自己想在自己的服这个虚拟集里边,你给我做搭建,那所以说你的笔记本最少最好不要低于32G。
03:19
啊,如果你是16G啊,真的有可能跑不起来,同学们你给我买是吧,你给我把你的笔记本啊弄个32G的,然后呢,你的三台虚拟机,你给我设置成十二八八。啊,或者是用八个八,应该也三个八也行啊,这是八个八啊,经过我的测试也是可以的,好吧,大家先对这个硬件要求咱们做一个了解好吧,那所以说啊,我我这边啊,建议学者将你的三台虚拟机,你的内存你给我设置成12G8G8G啊然后呢,然后你再把你这个雅瑞内存,你的配置文件你给我改成八个G,要不然啊,咱们的KD是起不了的,好吧,那那因此我干嘛呀,我们来到咱们这个集群配置文件里边,我CD我的OD Mo哈杜普ETC哈杜普在这个里边啊,我们VM,咱们的雅安。
04:05
啊,在咱们这个雅安的这个配置文件里边啊,咱们就可以修改咱们这个雅安容器,它的一个最大内存啊。你看啊,咱们当前设置的是最大的是四个G,而经过我的测试啊,这四个G是跑步起来K的,所以说啊,我需要把我的两个4096,你给我换成咱们的这个,呃,八个G,好吧,八个G是谁啊,是不是咱们这个8192了,你把咱们这个8192啊,你给我拿过来,然后包括下边这个4096啊,也给我换成这个8192,然后呢,咱们这个雅安对咱们这个物理内存。和这个虚拟存的一个限制检查也要关掉,那咱们之前就关过了,那所以说这个我倒不用改,那做完这一步以后呢,那咱们接下来就可以干嘛呀,WQ保存保存完以后呢,你还需要哎把咱们这个雅安更赛特你给我三器给分发一下好吧啊分发完事以后呢,咱们这个雅安可以重启一下,那咱们当前我的喊度口没有启,所以说啊,我也没有必要重启啊,为啥?因为咱们还需要接着改好吧啊。
05:06
那我还需要改点啥呀,你修改完咱们这个雅安内存以外呢,你还需要修改一下咱们这个雅里边呢,我这个air master它的一个资源占比啊,这个不改也不行,为啥呀,给大家简单讲一下啊,咱们这个kid。咱们说过啊,它的一个构建引擎和一个查询引擎都用Spark。那我们先说这个king的查询引擎,好吧,我将来kding这个查询引擎是Spark,那它是怎么用的呢?那你看这句话啊,咱们这个kding4.0这个查询会在后台生成一个长期运行的一个SP点,这么一个绘画任务。啊,而咱们这个败的这么一个任务,会占用掉咱们这个底赋的队列,大家知道都知道啊,咱们这个雅安是学习环境,而在咱们这个学习环境里边,咱们这个雅安是不是只有这么一个底付对量,而咱们这个死败的任务啊,会在咱们这个底副队里边,它一直跑一直运行。
06:02
而你运行着,那我其他任务是不是就进不来了啊,这一点有点有点类似于那个亥王Spark是吧?如果有同学学过咱们那个书藏项目,在咱们这个硅谷的收藏项目里边,咱们讲了这个亥王slark,大家应该都知道啊,咱们这个汉王sla克里边啊,我们我们只有一个队列,而咱们这个汉王sla克是不是也跟这个kidding一样,会生成这么一个在后台长期运行的session,这么一个绘画啊,那由于你这个绘画啊,你阻塞掉了我的我的这么一个结构队列,那我其他任务就进不来了。那你其他任务进不来,你你别忘了啊,咱们这个K它的一个构建引擎啊,它king一个构一个QB的构建引擎也是s Spark,那我总不能我k in查询一下我就不能构建了吧,这显然是不合理的,好吧,也就是说啊,咱们需要在s Spark里边我起多个任务,我肯定不能让他这个查询的一个长期运测SPA任务占用掉我整个队列。
07:02
那为了解决这个问题,咱们有两种方案啊,第一种方案就是增加做作业啊,在咱们这个牙上边啊,我们雅当前用的是不是那个容量调速器啊,而咱们这个容量调速器是吧,它是支持多队列的。是吧,我就比如说我当前已经有一个det了,那我再来一个kding,呃,我再来一个have,我再来一个slark,我多给他来几个队列是吧,你让咱们这个雅安他的这个多队列,你你你组册不完就行了,就比如说啊,咱们这个SP任务是吧,它默认才有底后队列,那我将来我的查询任务,我可以让他跑这个啊,我在加我那个构建任务,我可以让他跑K队列,这也是可以的,好吧,那我们当当前当前啊,我没有必要这么麻烦,因为我们就是学习环境嘛,我们我我我也不想设置这个队列,那我们干嘛呀,我就需要增加咱们这个底座队列它的一个宽度。因为我想啊,让我这一个队列干嘛呀,让他跑多个任务,那既然你不想增加多队列,那我只能把这个队列给他加宽,就是我允许啊,我这一个队列好多个任务,那意思怎么办呢?我只能增加咱们这一个当前单队列,它的一个all master,它的一个资源占比,我把这个资源带占比要调大啊,调大以后呢,那咱们这个底部队列就可以啊,跑多个任务了。
08:19
好吧,就是我的那个啊,查询的SPA任务可以跑,然后呢,我的构建任务也可以跑,如果你不调大啊,咱们一个队列应该是只能运行一个任务,因为啥,因为我这个am它只能占用0.1,你要知道啊。就是有一个有这么一个参数啊,就是我这个雅安这个任务一个am的最大资源占比是0.1%这个参数啊,它的默认0.1,那你知道啊,咱们当前这个雅安是不是一共才24个G啊,因为刚才我调大了嘛,我从四调成了八,那我有三个八三八二十四,那我一共24G啊,24的0.1是不是才2.4个G啊啊,我告诉你同学们啊,这2.4个G。
09:00
对于咱们这个AML来讲太少了,我只能起一个am,我的第二个am就起不来了,那因此啊,你的一个队列是不允许你跑多个任务的啊,同时跑,同时运行多个任务的,那我们就可以把咱们这个2.4个G,也就是说0.1的这是这个占比,我给它适当调大,我就告诉你啊,就这种情况啊,在咱们这个学习环境里边才会出现。在公司的这个生长环境基本上不用挑,为啥?因为公司的雅啊,最低最低也得128G。128G的0.1直接就干到了12.8啊,这个内存足够这个am去跑了,而咱们当前只有2.4个G,所以说啊,这个二点四一直给我调大啊,就说来说去啊,还是因为咱们这个资源不足导致这么一个问题,那所以说啊,咱们需要咱们需要改什么呀,咱们需要修改一下咱们这个K它的一个资源占比,好吧,那咱们接下来就VM把咱们这个KC这么一个参数打开啊,在这个配置文件里边,咱们的第二个参数啊,就咱们这个0.1这个参数,0.1这个参数啊,就影响了咱们这个am的一个最大资源占比,我需要把这个0.1啊改成0.8,好吧,大家不要改成一啊,同学们,有同学说老师这个参数是吧,既然这么重要,我都能调最大成了一啊,如果你让这个am是吧,占走了100%。
10:18
那咱们将来有可能出现什么问题啊,咱们整个队列是吧,有多个同时运行的任务,但是呢,这些任务都跑不完,因为我这个内存都被这个am占走了,那我那个雅安CH的就没法跑了是吧?就我那我底层的一个task就没办法跑了啊,所以说大家适当的把这个调了就可以了,调成0.8啊,0.7啊都可以,但是千万不要调成一好吧,OK,那咱们这个0.8改完之后呢,那我也需要分发一下XXYC是吧,把咱们这个容量交速器它的一个配置信息我们给他分发一下。OK啊。那这个也调完之后呢,那基本上啊,咱们这个雅安啊就没啥问题了啊,就能够支持咱们这个kidding去使用了。
11:02
那咱们这个雅没问题,以后呢,注意同学们啊,这个时候咱们还要干嘛,咱们还要把咱们这个my circle改一改啊,为啥就要改一下啊,因为在这个因因为在咱们这个雅4.0里边,我把这个原数据存在了my circlel里边,并且啊,咱们这个my circle它那个配置文件默认用的是不是K这么一个库啊。而当前在咱们这个my circle里边是不是还没有这么一个库啊,所以说啊,我需要把咱们这个KLY这么一个库你给我创建出来啊,交给咱们这个KLY去使用,要不然这个K也是无法启动的,好吧,那接下来我们就进一下咱们这个my circlele的客户端啊,我点个复制啊,来到咱们这个102上面,我进一下我买SL客户端,然后呢,这个时候啊,你受datata啊,BAS你发现啊,根本就没有这么一个K库,那所以说啊,我需要把咱们这个K0库,我给它创建出来,好吧,复制啊,把咱们这个K数据库传出来,那这时候啊,我在受W啊,我就看到了这么一个king的数据库。
12:00
那咱们这样一来啊,我的语言数据库我就准备好了,好吧,啊,那做到这咱们整个K点它的一个启动环境我已应该是准备好了,注意啊,在你启动K之前还需要干嘛呀,还需要重启咱们的组keepper,包括咱们的豆腐啊,因为咱们这个K需要用到组keepper和咱们的哈豆腐,好吧,所以说啊,我的我把我的环境是干嘛呀,我把我的主keepper记起来,然后呢,我还需要把我的哈豆腐啊,咱们给它启动一下啊。那这样一来啊,我还要把我的麦哈豆腐start,我要把我的哈豆腐洗一下啊,嗯。你稍等一会儿啊,咱们那个好豆服启动速度稍微有点慢啊。把咱们这个组keep跟这个哈杜普起完以后呢,咱们的这个K,它的一个启动环境,咱们就准备好了。好吧,啊。诶,这个时候啊,我这个GPSO,我看一下我的这个走K应该是没问题了啊,一台两台三台,然后呢,我剩下的一个433是我的一个正常的哈,杜甫是吧?啊,这是四个进程,这三个进程,这三个进程,那接下来咱们这个kding的一个启动环境,它的一个准备就先准备到这儿好吧啊。
我来说两句