00:00
呃,好了各位啊,那咱们前面讲的东西已经不少了,那接下来呢,我们就可以真正的开始实操了,对吧?呃,首先各位同学,那我们在真正的开始部署这个dolphin sctter之前,我需要给大家去说一个注意事项,什么注意事项呢?就是关于咱们这个内存的分配,大家都知道dolphin sc集群模式是需要在多个节点启动多个进程的,对吧?那所以说呢,那它对咱们的这个资源的要求还是比较高的,对吧?尤其是内存,那完之后咱们大家,嗯,这个现在这个虚拟机对不对?呃,咱们大多数都是都都都是什么呀,整个笔记本都是16G的内存,16G的内存对不对,那咱们开三个虚拟机去跑这个dolphin sc的集群模式,说实话呢,是有点儿吃力的,所以在这儿呢,大家一会儿在搭建这个do sc在启动之前呢,呃,大家呢,一定要按照要求,把这个三台服务器的内存呢,给它分配为至少是两。
01:00
给个633吧,这六三什么意思啊,就是102这个主节点,咱们当将将来启动的服务比较多啊,你给他至少得六个G,后边那两个诶,你给他三个G就行。是这样的六个G,如果不行的话呢,这边甚至大家呢,要把这个服务器的这个内存呢,给它分配为833。能理吧,就是102这个主机呢,你给它分八个G,后边两个那个三个G,好,那你要是这么分的话,你看这是不是已经占了14个G内存了,对吧?也就是你只给Windows系统留两个G的内存,能理解吧?啊是这样的啊呃,Windows系统两个G的内存其实说实话呢,就有点低啊,是这样,那你Windows这边呢,如果你给他只留两个G啊,那你Windows上边就不要再起太多的应用了,Windows这边能关的就关一关,对吧,你比如说你还听着音乐呢,把音乐关了对吧,看着视频呢,把视频也关了啊等等,能省就省,是这样,因为如果说你Windows内存对吧,你给的太少了对不对,那你Windows系统整个会变得非常卡顿,就包括你的虚拟机也会受到影响,就会特别卡。
02:01
能理解吧,那这个大家稍微的注意一下啊,那这边呢,大家至少调成633,如果六三你跑任务还是不行,那这块你就得给他跑,跑成改成833啊,是这样的啊,那这个我说改是改哪啊,是改虚拟机啊,就这块儿啊,给大家演示一下,比如在这呢,我需要给102的内存,我给它调大一点对吧,你这块你就点击这个设置对吧,那这边呢,你该怎么调就怎么调就完事了啊,实际上这个大家注意一下就行了啊好了,这是关于内存的一个要求,好了,那咱们接下来继续往下走。下边咱们干啥?哎,就可以正式开始准备去部署咱们这个DS了,啊OK啊好了,那部署之前首先我们要做的一件事就是做这个集群规划。诶,这个集群规划其实是干什么啊,很简单,因为咱们现在要做的是集群模式嘛,对吧,你集群模式你可以布置多个master,多个worker对不对,好了,那你这个到底应该怎么去分配呢?诶在这儿给大家简单说一下啊,通常情况下呢,我们这个master呢,咱们一般就是配个两到三个就可以,就是在生产环境当当中啊,咱配两到三个基本上就够用了,完事了,那这个至少至少一般得是俩。
03:05
为什么至少得是俩呢?那OK,那给大家简单说一下,就是我们这个master对吧,你配多少个,这个取决于什么,但是说取决于什么呀,说白了其实取决于是不是我们这个工作流的多少啊,对不对,大家都知道master是用来干什么呢?是用来负责工作流的,对吧?那你集群当中你调度的工作流越多,对不对,那我这个master的任务是不是就越多,能理解吧,那这时候咱们master是不是就应该起的越多呀?涉及道理吧,OK啊好,那一般情况下呢,你这个工作流呢,咱们中小时公司也不会太多,所以master的压力呢,一般情况下是不会太大的啊这样的,也就是说那我们这个基本上有正常情况下,你一个master其实说说实话它也够用,也够用,但是一个master它怎么样,它不能高可用对吧,能理解,即便说你起一个master我够用了,那我也得起俩。对吧,因为两个是不是才能实现高可用啊,对吧?诶一个挂了,那我另一个是不是能够顶上来对不对?所以说master呢,一般至少是得两个的,这个一定要注意啊,好了,那我们再来看后边这个worker,那worker呢,这个就得是具体的任务数而定了,对吧,任务越多,Worker那就得越多,对吧?这个嗯,基本上就是若干个对吧,你这个配个五六个对吧,配个十来个都是有可能的,这个大家稍微的注意一下就行了,好了啊,那这是咱们这个worker的一个数量好了,那由于咱们当前的这个集群资源有限啊,这边我们就不按照这个生产环境去做了,我们这个master呢,咱们现在只给他配一个。
04:37
只配一个啊,因为我们确实没那么多资源啊,咱就不配俩了,Worker呢,咱们给他配三个。能理解吧,同学们啊,OK啊好了,那这个具体怎么分配呢?咱们就这样去做这个分配,大家来看啊,我们这三台节点嘛,还度102~104对吧,102这台节点我们装一个bus,装一个worker对不对,103装一个worker 104装一个worker,这就是咱们的一个集群规划啊好了啊,那集群规划完了之后,那接下来咱们就可以准备开始去做这个do sky了,安装了。
我来说两句