00:00
啊,好,各位同学,那咱接下来呢就继续往下走,呃,那下边呢,我们要做的工作呢,就是学习dolphin schedule的部署和使用,对吧?这其实就是咱们的,哎,核心内容啊,其实其实最核心的内容应该是什么?应该是使用对不对,但是你这个你要不不去部署也没法用,对吧?所以现在咱们要做的第一件事就是部署,呃,然后部署呢,我们先看第二章,这儿呢,对dolphin sky这的部署做了一个简单的说明,Dolphin啥意思大家知道吧,说了这么半天了,海豚那对吧,海豚调度器啊,是这样的,比较聪明是吧?啊,来,咱们继续往下走啊呃,下边呢,这个部署说明里边我们一共有这样的呃,两小节内容,一个是dolin sc对软硬件环境的要求。对不对,那还有一个呢,是对这个部署模式的一个基本说明,来我们先看他对软硬件环境的要求,这部分内容呢,实际上呢,是摘自于官网的,摘自于doin盖的官网是这样的啊,所以我们在部署它的时候呢,一定要确保这个环境满足它的要求才行啊好,那它的呃要求都有啥呢?我们先看他对软件的要求,其实对软件的要求呢,其实说白了就是对啥呀,对我们服务器操作系统的要求,它支持的操作系统呢,诶有以下四个Linux发行版,OK,那分别是。
01:12
红帽企业级系统对吧?它要求的版本是7.0级以上的啊,然后再往下走,下面的是什么呢?是孙特S系统要求的是7.0级以上,然后再往下呢,是Oracle企业级啊,这个linu斯发行版对吧?然后也是要求7.0级以上,然后再往下呢,看这个这个什么是乌班图啊,然后是呃,长期支持版本对吧,这个LTS就是长期支持版本的意思啊对吧?哎,Long term longtime support对吧,长期支持版本,然后呢,它要求的版本呢,是16点呃,零四级以上,呃,当然可能大家对乌班图不是那么的熟悉,大家就是对斯大S熟悉对吧?牙,现在最起码是什么版本呀,也不知道,呃,最新版是八对吧,但是八后边还有九嘛,就没有了,SS是不是现在已经就是停止维护了呀,对吧,相当于是啊,就不会再开发后续的新版本了啊呃,这个这个不知道这个来,那这个咱们了解一下就行了啊,然后往下走,那下面的是这个乌班图的这个这个长期制版本,然后他幺。
02:12
要求是16.04级以上,其实现在最新的已经到20了啊,然后呢,中间没有17,呃,就是长期支识版本啊,是没有17,没有19的,中间是一个18啊,就是它所支持的互换做的呢,就是十六十八还有20啊这个咱们理解一下就行了,呃,当然咱这儿呢,3S是不是满足他的要求啊,这个是没啥问题的啊,咱们国内可能诶服务器用3S还是更多一些啊啊那现在咱们继续往下走,呃,那下边呢,我们来看一下它对这个硬件的要求,对硬件的要求相对就比较简单了,那主要是对这样的三个硬件有有否要求,那分别是什么呢?就是CPU哎得是四核及以上,然后呢内存呢得是8G及以上,然后呢网络呢得是千兆网卡,那其实这这点要求对于我们的大数据集群来说,那通常是肯定能够满足的,对吧,咱们的CPU的核数是不是一般都得是20个物理盒以上啊对吧,那然说这个内存呢,基本就是最少也得64G对吧,128G,这就是呃,就是相当于标配对吧?然后网络呢,肯定千兆网是没有任何问题的啊实上。
03:12
所以说在这儿呢,硬件的服务要求一般是能够满足的啊,主要是软件把这个系统注意一下就行了,好了各同学,嗯,一台机器的要求是单台节点的要求啊,单台节点要求好了同学,那截止到现在呢,那呃,咱们的这个软件家长要求就说完了,其实咱们应该能够看出来啊,呃,其实他对这个服务器的要求理论上还是相对来说比较高的,对不对,那所以说实际上呢,一会儿在咱们的这个虚拟机里边去跑这个dolphin盖啊说说实话是有点吃力的,也不是跑动能跑对不对,能跑但是很吃力啊,这个内,尤其是内存啊,这个可能不太够用啊,是这样的啊,这个内存一会儿咱们再说具体的要求啊,好了,那到目前为止呢,那在这儿我们就已经把刀分sctter对哎,环境的要求说完了,来完成之后视频我停一下啊。好,各位同学,我们现在呢,再来看一下下边这个,呃,部署模式的一个说明啊,就是DS呢,它其实支持非常多的部署模式,在这儿呢,我们逐个呢介绍一下,那这里边呢,首先呃有哪种模式呢?有单机模式,英文呢是stand alone对吧?那还有一个是伪集群模式啊,这个英文呢是苏cluster啊这个P是不发音的啊,我的发音没问题啊啊然后往下走,那这个呢是集群模式,叫做cluster啊,一共有这样的三种模式啊,那这三种模式他们呃,分别有什么样的特点,分别适用什么场景呢?我们主个来看一下,来咱们先看这个单机模式,呃,这个单机模式它有什么样的特点呢?咱们来看一下,他说单机stand alone模式下,所有的服务均集中于一个进程,当中这个进程的名称叫做stand lo server啊,这个这句话怎么理解啊,各位同学,咱们来看一下什么叫所有的服务,咱们其实看上面那个DS的核心架构应该能看出来,它是有非常多的服务的,对吧?你比如说我们这个master server worker server。
04:59
2SERVER对吧,还有这个apsr,这是不是都是它的一个一个的服务啊,对吧?OK,那这些所有的服务在单机模式下边都是位于同一个进程当中的,而且这个进程呢,它还内置的就是还内置了什么呀,注册中心组kper和一个数据库叫做H2 h2呢是一个轻量级的嵌入式数据库,这个你不需要单独的部署,是这样的啊,OK,那也就是说你这个单机模式下边,你要想使用do分片里面,你其实只需要启动一个进程是不是就够了,对吧?也就是你只要启一个stand server对吧?那所有的这个服务就都有了啊都有了,是这样的,OK,好,那这个东西呃,主要是用来干什么的,这个单机环境它其实不是用来啊去满足我们生产环境的这个任务的啊,它是用来干什么的呀,其实主要是用来做测试的,对吧,那因为它确实启动起来比较方便嘛,对吧,你只需要配个JDK对吧,就可以直接启动它了,完之后呢,主要用于诶快速的体验其功能啊是这样的,这个生产玩意肯定是不能用的,这个咱们稍微的了解一下。
05:59
下就行了啊,OK,那这个完成之后,咱们继续往下看,下边一个我们要讲的是这个所谓的伪集群模式,对吧?苏度cluster对吧?那它的这个所谓的伪集群模式又是怎么回事呢?我们来看一下,那伪集群模式是在单台机器部署do分在这的各项服务,大家注意了,那这时候呢,我们这种伪集群模式下对不对?那我的各项服务还是位于同一个进程的吗?就不是他们就分开了对吧?你worker得单独一个进程,Master起一个进程API serve起一个进程,Alert serve起一个进程,就是各自一个进程,是这样的啊,然后呢,在该模式下边呢,只有一个要求,什么要求呢?就是你这些服务呢,都只能在一个机器上边。
06:43
啊,就只能在一台节点上面,那所以我们称之为是伪集群模式嘛,啊是这样的啊好了,那完之后呢,在这种模式下,我们的组K和这个数据库呢,你得单独安装并且配置才行啊是这样的啊好了拉完之后呢,我们继续往下进行,咱们看一下下边的这个所谓的集群模式,那其实集群模式跟伪集群模式它们俩的一个主要的区别就是啥呢。
07:08
哎,就是集群模式啊,是可以在多台机器上面去部署DS的各项服务的啊,是这样的,OK,好,那然后呢,你是可以配置多个master和worker的,那在这种伪集群模式下,由于你只能在一个机器上边去部署服务,那所以说你的master和worker是不是都只能部署一个呀,对不对,在真正的集群模式下,我们是能够部署多个的啊,这一点要注意一下啊,那当然伪集群模式通常适用于什么样的场景呢?比如说我们有一个测试集群,对吧?诶,测试集群对不对?你不要求它高可用,你不要求它具备容错的能力,你是不是就可以用伪集群模式去做呀,对吧?但是真真正的生产环境下呢,我们必须得用什么呢?集群模式对吧?那首先从哪就能想想明白呢?比如说我们就从master跟worker这个角度去考虑,你只有一个master,只有一个worker,那你只要挂了,是不是整个机群就瘫痪了呀,对吧,就不能用了,对不对?那就在正生产下,我们必须得是集群模式,你需要多个worker,需要多个master,这一点要注意一下啊,好了,那这就是单机模式。
08:08
北极群模式和集群模式的一个基本说明啊,OK啊好,那完事之后呢,我们现在学习dolphin scner,咱们用哪种模式呢?我们肯定是用集群模式去进行学习啊这样的,然后集群模式由于我们需要去在多台节点启动DS的多个进程,对吧?所以他对咱们这个呃内存的要求说实话是比较高的,是比较高的啊,那所以在这儿呢,我需要统一的给大家去呃规定一下咱们这个集群的内存分配,呃,因因为咱们大多数同学啊,这个笔记本的内存是不是都是16个G啊,对吧?啊,那我们要想呃,在这个集群上边去跑一个DS的集训模式,那我们需要把这16G内存怎样分配呢?你需要这样去分配,哎,分成833,就是102这台主节点,我们可能需要启动的进程是比较多的,你需要给它八个G的内存啊,然后另外三和四这两台节点呢,用的这个内存相对少一些,我们只给三个G就行了。
09:04
833这么去分配啊,是这样的啊,那也就是它是不是就已经占用了14个G的对吧?那我们的Windows上边是不是占用的内存,呃,就剩下内存就不多了呀,对吧?所以说在这种情况下呢,你的Windows上边就不要起太多的进程了,你不能说我这看着视频听着音乐对吧,再去使用DS跑这个全流程,那这个就有点吃不掉了,所以说文字上面的进程尽可能的少,对不对,那你那个比如说data gra现在用不到,你就给它关了对吧,音乐你不听就给退了,就是视频不看你就把它关了等等,节省Windows内存,要不然的话就会非常的卡啊,这个一定要注意一下。好了,这是大家需要注意的啊,那即便是我们把这个内存分成833,即便是分成833啊,我们也是刚刚能够干啥呢,把这个DS给它提起来啊,然后呢,简单的测试是没问题的,但是我们将来你要考虑到我还得干啥,我还得用DS去调度咱们数仓的那个全流程,对吧,咱是不是得去跑海王Spark的任务啊对吧?说实话这个任务跑起来就有点吃力了啊,你在跑的时候,你的Spark任务呢,会经常申请不到资源,大家都知道,嗨,完SPA要是申请不到资源,它会怎么样,会超时退出对不对,是这样的,也就是说你的这个工作流的任务呢,可能会频繁的就是超时,那超时之后呢,你就得频繁的重事啊,就是也能凑合着跑下来,但是呢,这个过程可能会比较坎坷啊,是这样的,它是这样的一个情况啊,所以这块呢,大家注意一下,那当然大家内存要是充足的话啊,你随便分对不对,你比如说我像我这64 64G内存对吧,我就随便抬就行了啊是这样的啊,不是炫耀就是说。
10:42
大家要注意一下就行了,然后所以说那到等明天的时候,对吧,明天大家是不需要用DS,是真正的调那个工作流啊,对吧?到那个时候呢,呃,如果大家那个内存你要是实在是比较少对吧?16个G完了之后呢,你也不想那么紧张,不想那么坎坷,对吧?你可以怎么考虑呢?就不要使用集群模式了,对不对,到时候你用什么模式呢?你你直接来个单机模式,Stand模式对不对,你只需要就起一个进程就就完事了,对吧?那这样一来就能够节省大量的这个内存啊,是这样的,OK,那所以说呃,等真正去调工作流的时候,大家再根据实际的情况,对吧,你内存充足,你用集群模式没问题,那你要是内存不足的话呢,就可以先考虑使用一下那个单机模式,这个大家要注意一下就行了啊,好了,那暂时咱们先这么说这么多啊,今天我们学习DS不用想那么多,咱们统一都用集群模式,那就完事了啊,然后呢,大家呢,在部署这个集群模式之前,最好先把自己那个虚拟机的内存调整一下,调成833啊,调成833这个注意一下啊,然后Windows上面这个概。
11:42
关呢,尽量关一关,节省一点内存就行了啊好了,那这个我就不再多说了,各位同学,呃,接下来呢,咱们就继续往下进行了啊,视频我先停一下行,同学们,那这个DS的一个部署说明咱们讲完了下面呢,我们就正式开始DS的这个部署了,那当然我们部署的是集群模式,所以说我们需要先来一个集群规划对吧?好,来看一下咱们现在的规划是什么样的,那其实所谓的规划呢,我们基本上就是规划一下我到底要配置多少个master,到底要配置多少个worker对不对?然后呢,我们每个master在哪,我每个worker在哪,对吧?咱们得规划一下,来咱们看一下咱这是怎么规划的。
12:17
就是在集群模式下面呢,我们是可以配多个master多个模块的,对吧?那通常在生产环境当中呢,我们的master你至少得配几个,压缩至少得配两个master,至少两个,为什么至少两个啊对,你至少得保证它是能够容错的,对不对,这样的,那当然你多个master,那我是不是处理的工作流就能更多一点,对吧?Master越多,我能够处理的工作流就越多嘛,对吧,就是即便说在你工作流非常少的情况下,对吧,你也至少得有两个master才行,对不对,因为你这样能保证容错了,这一点要注意一下啊呃,通常呢,就是两到三个基本上就够用了啊好,那完成之后呢,这个worker就视具体的工作量而定的,对吧?你的任务多,OK,你的worker就可以进到的多一点,比如说配个五到六个或者七到八个或者十个都可以啊,那咱们这儿呢,呃,由于集群的资源有限啊,所以在这儿呢,我们呃,并没有按照这个实际的要求去做啊,咱们master就有点抠啊,咱们只配了一个,这个是由于咱们内存不太够的导致的啊,那完之后呢,Worker我们给。
13:17
配置了三个work块是这样的啊好,那在这儿呢,咱们这多个角色是怎么分配的呢?怎么分布的呢?诶master我们让它在哪个节点,在102那节点,因为102节点我们是给的内存多呀,对吧,然后在102,然后呢,WORKER3个是不是位于这三台节点每台一个呀,对吧,实际上这是咱们的一个集群规划啊,这一点先搞清楚行了,完成之后咱继续往下走,下边呢,我们要做的一个工作是什么是。准备工作对吧?准备工作准备工作什么准备工作呢?来看一下它的四点要求,咱们必须都满足才行,首先第一个就是三台节点,我们均需部署接DK1.8级以上,并且配置相应的加home环境变量,这个是不是早就完成了,对吧?直接跳过下一个,那完之后呢,我们还需要去单独的部署数据库,因为在集群模式下边,数据库是不是得单独装单独配呀,对吧?然后数据库do分SC支持两种,一种是my circle,一种呢是post break circle啊是这样的啊,那那在这儿呢,我们就使用马斯就行了,他对马斯的要求呢,是5.7G以上,那大家应该是满足的,对吧?没问题啊好,现在往下看那组K呢,诶,咱们也得提前部署,这个是不是也已经有了呀,对吧?啊,然后版本是3.4.6级以上,那咱用的组K分是哪个版本。
14:28
应该是3.5.7吧,我要没记错的话,咱们去找一下安装包啊安装包啊software,然后就进到这个组K班3.5.7对吧?哎,是没有问题的,所以咱的这个版本也是满足这个要求的,好,那现在咱继续往下走,前三年都没问题,看最后一点。最后一点呢,我们需要在三台节点上边都安装一个进程管理工具啊,这个呢是dolphin SP所要求的一个系统依赖啊,这是一个系统的工具啊,那所以在这儿呢,我们需要使用yap去进行在线的安装,OK,那只需要在三台节点都执行一下这个命令就完事了啊,是一个用来管理这个进程的啊来你这个直接CTRLC,然后呢,在三代节点上面去都执行一下就行了,其实我这儿就不用再执行了啊呃,为什么呢?因为我这个已经就就有了啊,实际样谁会有谁会没有,呃,如果咱们在安装这个操作系统的时候呢,我们安装的是那个everything版本啊,Everything版本是不是就是呃,它里边啥都有啊对吧,会带很多的,这个就是呃,内置的一些依赖呀,一些工具什么的啊,你按的是everything瑞版本,那OK,这个里边应该是有这个依赖的,你就不用再装了啊,那如果说你当初安装的是那个minimum,就是最小版本对不对,最小版本是不是就是它里边,呃,只有一些系统的核心的这个库啊,对吧,那有些东西是没有的。
15:45
那那种情况下你就得单独安装了,好,那这个就是大家不管有没有,你都把它执行一下就完事了,有的话它是不会提示你已安装啊,对吧,那我这就有了,我就不再安装了,我节省时间啊好了同学,那到目前为止,这个前置的准备工作咱们就说完了啊,完成之后视频我停一下。
我来说两句