00:00
呃,行了,各位同学啊,那我们在完成这个3.4这一节之后,我们下边进入到3.5 OK 3.5这一节,同学们大家可以看一看啊,这是在干啥?这是不是就已经开始不配置我前面所说的那个一键部署脚本了呀,对吧?这就已经开始配置我前面所说的一键部署脚本了啊,那这个呢?呃,这个相对来说是这个咱们部署这个DS当中是不是最为核心的一步啊,对吧?那我们需要在这个配置文件当中去,呃,填写咱们整个DS集群的规划。能理解吧,你在哪装master,在哪装worker对吧?你装在什么路径下等等等等都要在这个文件当中体现出来,所以说这一步是最为关键的一步啊好,那咱接下来呢,就来看一看这会儿到底怎么做啊,那首先咱们得先找到那个一键部署脚本对吧?那一键部署脚本在哪呢?诶,其实很简单,就在我们解压完这个DS之后,它的根目录当中来各位同学咱们来看一下,这其实就是这个所谓的因道点SH,就是将来呢我们部署DS对吧?咱们要执行的脚本其实就是它,你直接执行in install sh OK,好,那这个时候呢,它其实就会开始部署咱们这个do sc是这样的,OK,好,那他按照什么去部署呢?也就是我这个集群的规划,我应该配在哪呢?注意规划不是配在这儿的啊,是配在一个配置文件里边的,哪个配置文件呢?来咱们看文档。
01:25
是解压目录下边的comfort复里边的con里边的install con康复文件啊,有点绕啊,就是它,那咱们去找一下啊,那现在呢,我们就按照他的这个指示去进到康复对吧?进到康复之后呢,是不是还得进到这个肯呀,对吧,没错吧,好进来之后呢,你会发现里边就有一个in道是不是肯费点com文件对吧?那咱们现在呢,给它打开好打开之后呢,大家就可以看到了,那这就是我们要配的一系列的参数了,对吧?那接下来呢,咱们就开始主个的配置了啊,那这块呢,各位同学大家照着这个文档去配也行,你看啊,我文档里边呢,其实已经将需要去配的参数都给大家标红了,也给大家加了注释了,那大家自己配的话呢,你照着这个配就行。
02:10
是这样的啊,那我这儿呢,我呃就不照这个配了啊,我就直接咱们从这配,然后呢,需要哪个配,哪个需要配,我就给大家去解解释一下哪个对吧?大家自己做的时候呢,你就直接照文档配就行啊好了,那现在呢,我这样啊,我加一个行号对吧,这个方便大家去定位啊,那首先我们要改的第一个参数就是这个IP。能这个IP这块我们要填的是什么?同学们,我们要填的是所有需要部署dolphin sc服务的节点的IP。能理解吧,大家都知道咱们整个是一个集群对吧?是一个集群,哎,咱们答的是集群模式嘛,对吧,那集群模式你可能需要在多个节点部署dolphin盖多个服务,对吗?能理解吧,那你不管这个节点,你要部署dophin这什么服务,只要你装了DS了,好,那你这块呢,你就得把它的IP给它写在这很简单,那其实大家可以想一下,你说咱们这写这的目的是什么呀?
03:01
其实主要是为了干啥,你想DS将来咱们他在一键部署的时候,他肯定要干啥,肯定要分发这个安装包吧。那了啊同学OK,你这块是不是把这个IP写上,它就可以按照这个去给你进行分发了呀,对吧,那这边呢,咱们就写上嗨豆OP102,嗨豆OP103 hi doop104。没问题吧,那这就是我这的三个节点,大家那块呢,你自己是不是得改成自己的这个主机名啊,对吧?因为有的同学可可能跟咱这是不一样的,诶你要记得改啊,好下面一个下面一个呢,就是咱们这个SSH的端口号,那由于刚才提到了它需要去分发对吧?它分发其实呃,这块也是使或者说在群起的时候,对吧,是不是需要使用SSHSH协议啊,对吧?那所以这边呢,你需要给他指明端口二,那当然咱们这儿这个SSH端口二咱没改,咱们就是22对吧,但在生产环境当中,这块可能会改,改完之后诶,你要改成相应的这个端口号,这个一定要注意啊,那这个SSH服务的端口号你怎么能看到呢?很简单,你可以看一下SSHSH服务的配置文件对吧?在哪是在ETC下边SSHDSSH对吧,下边有一个SSH应该是肯费对不对,SSHD肯啊,哎,是这个文件里边,里边呢,应该就有一个咱们这个port这样的一个配置参数来注意观察,你看这儿配的默认是多少。
04:16
默认是不是就是22啊对吧?OK,那如果说他改了的话啊,那这块大家呢,要把哪呢,要把我们这块的这个配置文件当做参数,跟你刚才这个呃,Port得保持一致才行。能理解吧,各位好,我们继续往下走啊,那这个行号咱们可以打开来继续往下走。来现在呢,我们来到第34行,34行这是在指定什么呢?是不是就指定你在哪装master啊对吧?这边是不是咱们就hi do102就行对不对?正常这个你得部署两个啊,我们这装一个就得了,来继续往下走,那下边就是work克了,Work克这边刚才咱们分析过我们装几个来着,咱们是不是装三个work克对吧?三台节点各有一个对不对?然后呢,这块怎么去配呢?你会发现这个work克配起来好像要麻烦一些,对吧?你看它后边这是什么东西,它这好像是主机名冒号,后边要写一个什么default对吧?然后主机名冒号default,主机名冒号default这是什么意思啊?这个default这是什么意思呢?在这儿呢?诶我给大家去解释一下啊,你其实可以看上边。
05:15
这个格式人家说了对吧,是house name冒号worker group用户这个worker组对吧?能理解吧?OK,好,诶,那这个worker组是什么意思呢?在这儿呢,我给大家解释一下啊,实际上呢,在dophin sc当中,那我们呢,是有一个work克组的概念,什么叫沃克组,很简单,多个work克是不是组成一个组啊,对吧?OK,好,那这个work克组它有什么用呢?它有什么用呢?很简单,那将来呢,我们在使用DS啊,去提交任务的时候,你可以指定什么啊,你可以指定你这些任务分到哪些worker里边去执行,怎么分配呢?就就根据这个worker组,那你能够选组,那见你选完组之后,你就能规定OK,这些任务它只能在这几个worker执行,而不会被分到其他的一个worker,那这是不是给咱们的这个任务的分配提高了一个提,提供了更多的一个灵活性啊,对吧,你想让这个任务在哪个节点执行,他就能够在哪个节点执行,能理解吧?OK,好,那咱们在这儿填的这个内容是什么呢?
06:21
实际上啊,就是你这几个这个worker对吧,他们所属的默认的分组。能理解吧,DS1默认属于default组,DS2默认也属于defat组,当然这个东西呢,将来咱们也能再改,就是你部署完之后也能改啊,是这样的,那现在呢,我们就按照它这个格式,咱们给它配一下就行,这块呢我就不再一点写了啊,咱们拿一下文档里边的这个内容,OK,咱们把这个CTRLC拿过来之后呢,我把这一行的给替换一下啊。好了,那现在呢,我们就已经把文档当中的这个,诶,沃克分组的这个信息拿过来了,那这块呢,咱们就这样照着配就行了,至于这个沃克组到底怎么用,我们后边学到的时候再说啊,再具体的说啊,那继续往下走,下面一个呢是什么?是alert so装在哪个节点对吧?那我们也给它装在hi度102 hidoop102,好,那继续往下走,下面还有一个是apo对吧?那这个呢,咱们也给它装在hi doop102好了,那这块搞定,搞定之后我们接着往下走啊,然后再往下,咱们进到哪一个环节了,进到这个所谓的pyon getway service了,诶,那这个是干什么用的?
07:26
这个我给大家去解释一下啊,实际上呢,这个服务相当于是提供了一个Python的API接口,OK,好,那这个Python的API接口它能干什么呢。我给大家解释一下啊呃,它的作用呢,实际上是这样的。大家都知道啊,我们这个DS它整个的操作是一个什么什么什么样的习惯,是可视化的习惯对吧?可视化的习惯那它有什么好处,就是很简单,诶你所有的操作对吧,你比如说你配置工作流对不对等等的,你都是在页面上面是怎么做的拖拽对吧?诶你拖一个节点过来对吧,拖一个节点过来,然后有依赖关系呢,我这给他连一条线对吧?都是这么去配置好,这么配置看似简单啊,但实际上呢,它也有弊端,它的弊端是什么呢?
08:09
你觉得这个效率高不高?不高对吧,那假如说我一个工作流对吧,我有比如说有这个几十个节点。能,那你这个画这个图的时候,你得拖半天,你是不才能拖上啊,对吧,那这种情况下呢,那人们可能就会有一个这样的诉求啊,什么诉求呢?我能不能通过比如说一些代码或一些脚本,对吧,那我去批量的生成一个工作流的这个相关信息,就人们可能会有这样的一个诉求。能解吧,那所以说在这儿呢,那DS这边就给咱们提供了一个Python的一个接口,他有了这个接口之后,咱们能干啥,我们就能使用Python脚本,能理解吧,诶OK,你去调用相关的API,直接去配置我们这个工作流了。你就可以直接通过代码去配置工作流了,对吧?那这样一来的话,是不是咱们就能够同时批量的生成诶一个工作流的信息,对吧,我们就不用说你都得在页面上一个一个去拖拽了,那就这是它的一个作用,OK啊,那当然了,在这儿呢,其实咱们是用不到的,我们这个工作流没有那么复杂,所以我们也用不到它,对吧?所以说在这儿我们就可以把它助掉,住掉的意思是什么呢?诶你把它助掉的意思,OK,就是说你这块呢,你就不用再呃启动这个所谓的Python get serve,如果你不住的话呢,他会去启动一个这样的进程,这个大家注意一下啊好,那我们这儿来到这个54号,咱们给他注掉就行啊。
09:33
好,那现在咱们就已经读掉了,然后我把这个高亮的内容去掉啊呃,高亮的内容应该是no highlight对吧,Nol就行了。诶,这个呃,冒号ohl no highlight应该就是啊好了已经去掉了,那我们继续往下进行啊,那下边呢,我们来看一下第58行,注意同学们啊,58行的这个参数是非常非常关键的。58行的参数是非常关键的啊,这个参数指的是什么?就是咱们的这个安装路径,那这个安装路径在这儿呢,其实是非常非常重要的一个参数,你这个你不能随便写对吧,你就是随便写一个,写一个什么,写一个root路径对不对,那你这个他将来能能给你安装成功吗?不能对吧,那所以在这儿呢,你必须得写一个咱们当前这个用户有权限访问的路径才行啊,这个大家一定要注意啊,好了,那在这儿呢,咱们就按照之前的习惯给他装在哪就行,咱们都给他统一的安装在OPT model这个路径下就行,那在这我们来一个OPT,后边来一个Mo,咱们装在这个路径下就可以了啊,这边呢就是OPT module,然后呢是dolphin sky论。
10:40
啊,是这样的啊,行了各位,那截止到现在这个参数咱们也就配置完毕了啊,那继续往下走。下边63行也有一个参数非常的关键,这个参数呢叫做deploy user部署用户对吧?啊,那将来呢,这个用户会作为dolphin s sc进程的启动用户。
11:01
OK啊好,那这个官方文档也有相应的说明,这个用户呢,需要具有速度权限,而且得配置免密啊,OK,好,那之前呢,咱们一直使用的这个艾特硅谷用户对吧?那咱们早就已经给他配置好了,呃,这个速度权限,并且已经配置好了免密了,对吧?这个怎么配的大家应该还记得吧。对吧,OK,稍微的回顾一下啊这块,呃,咱是不是需要去修改一下我们系统当中的一个配置文件叫做ETC啊,对吧,对吧,你给它打开,打开之后呢,我们之前是不是已经配置了艾特硅谷用户的,哎,这个免密的修度权限呀。对吧,这个大家一定要注意啊,好了,那如果大家现在呢,系统里边没有一个这样的用户,那OK,这儿要求大家去创建一个用户,并且赋予这个用户修度免密的权限啊OK,好,那就像这样去配置就可以了啊好了,那接下来呢,我们再回到刚才的配置文件当中啊,那此处呢,我们就将deploy user改为at硅谷用户就可以了啊好,我们改成at硅。
12:08
行了,那完之后呢,我们接着往下走。哎,再往下,再往下呢,就是咱们这个第66行了啊,那这个参数相对比较简单,它就是一个啥呢?哎,就是一个DS运行的过程当中,对吧,需要用到的一个临时路径对吧?啊,因为它运行过程当中可能会打印一些这个呃,日志啊,或者是其他一些信息,对吧?那这是一个临时路径,所以这个呢,咱们不用管用默认值就可以了啊这个比较简单,来我们继续往下走啊,再往下下边呢,就是呃,一个这个环境变量对吧,加号home,那这个呢,咱们必须得手动的给它填在这,这个大家一定要注意啊啊,那现在呢,咱们把这个给它填上。呃,这边呢,我们去获取一下咱们的这个加号。Dollar来加我home,好,现在呢,咱们把这个参数给他拿过来啊。他们复制过来,诶之后呢,咱放在这个位置啊,行了各位,那到现在呢,这个参数咱也就算是给它配好了啊来,我们继续往下走,呃,再往下呢,我们进到这个,呃,第76行,这个参数叫做API so port,这个其实就是指定一下咱们这个API服务的端口号嘛,对吧,这个比较简单,咱们直接写成12345默认值就行,这个好记对吧,咱就不用管了,然后再往下。
13:17
再往下从79行开始,对吧,从这开始往下,那都是跟数据库相关的参数,对不对,那这块呢,咱们就逐个的配一下就行了,首先先看84行第一个参数,这个参数咱们要配的是什么。很简单,是不是就是咱们数据库的类型啊,对吧,那在这边呢,我们给它配置成咱们自己的类型,就是这那就是MYCL吧,对吧?那这边咱们直接给它,诶来配一个买S,注意啊,这个一定得有引号才行,引号一定得有啊好了,那这个配好之后呢,我们再来看下一个,下一个是什么,是不是就是咱们那个URL啊对吧,那URL呢,这边呢,咱们也是,呃,这个照着配就行啊,那我们把后边一个东西呢,先给它删掉。删掉。大家呢,可以直接从文档里边复制,或者说也可以从他这这个模板是不是复制啊,对吧,那这个呢,是my sol的一个模板,咱们给它复制过来,那之后呢,我们需要把它的主机名改一下。
14:10
这个呢,我们给它改成嗨度吧,102,然后千万不要忘记加引号啊来我们给它把引号加一下啊来这块加一下,然后后边呢,也给它加上引号。哎,好了,那这个参数咱就完事了。来,那我们接着往下看啊呃,然后下边一个参数呢,就是91行,哎,这个是呃,我们数据库的那个用户名对吧?那现在呢,咱们给他去改一下啊呃,在这儿呃,我们的用户名咱们之前给他呃命名的是不是dolphin together啊对吧?那这个我们给他复制一下啊,好了,然后再往下,那94行呢,其实就是咱这个密码了,对吧?那密码呢,我们这儿也是dolphin sc对吧?所以在这儿呢,咱们给它也是复制一份就可以了,好了,那截止到现在呢,呃,My circle相关的参数我们就算是配置完毕了啊好,那我们继续往下进行。
15:00
再往下同学们,这块你注意观察,你看咱们配的是是不是这个所谓的register server对吧?这是什么?是不是用那个注册中心对吧?说白了就是咱们那个组K吧,对吧?那在这咱们给他配一下啊,呃,这块这个类型那就用组K班啊,当然它以将来可能会支持其他的这个注册中心啊,现在只有组K,所以这儿不用改,然后下边就是这个组K班的集群地址了,这个呢,我们就不再一点改了,咱们直接呃去呃复制一下就行啊,来咱找一下。这个拿过来。CTRLC,那CTRL之后呢,咱们把这个给它删掉,然后呢,我们把这个新的参数给它拿过来,行了各位,那截止到现在呢,咱们把这个参数就算是给它加上了啊行了,那这个大家也要根据自己的这个实际情况,把主题名什么的改一改啊好了,那继续往下走,那再往下呢,就是咱们这个注册中心的一个命名空间了,对吧?那这个命名空间呢,呃,这边呢,呃,给大家简单的解释一下,这是什么意思啊,大家都知道,那我们DS呢,会在刀会在主K上面对吧,是不是注册很多的节点呀,对吧?那这样呢,相当于是给他指定了一个组K上的根节点。
16:07
能解吧,它所有的节点将来都会在这个节点下边再去进行创建,这个大家注意一下就行啊,比较简单,咱不用管好了,那再往下走,诶这儿还有一个比较关键的参数,那就是哪呢。啊,就是这个所谓的,呃,Resource storage type。在这个也是比较关键的一个参数,这个是什么,我给大家解释一下啊,首先这个所谓的resource storage是什么意思?Resource是不是就是资源的意思啊,对吧?Storage是不是就是存储的意思。没错吧,那这个所谓的resource storage是什么意思呢?啊,我给大家解释一下,首先咱们先搞清楚resource指的是啥,指的是什么资源。诶,其实在这儿只是一些文件资源啊,OK,哪些文件资源呢?诶首先大家得知道,就是我们是不是有一些任务对吧,DS调度的有些任务它在运行的时候是可能需要用到一些其他的文件资源的呀,对吧。
17:02
比如举个例子啊,那你假如说你让DS你去调度一个MAP6对不对,或者说你让DS呢,去调度一个Spark任务等等等,那这些任务是不是需要用到一些额外的炸包啊,或者是配置文件啊,对吧?好了,那咱们这块这个所谓的资源呢,指代的就是这些文件资源。指代的就是这些文件资源,这个大家稍微的理解一下啊。好了,那我们继续往下进行,呃,那这些文件资源大家来想一想,你说我我你比如说一个MAP6对吧,那我在呃执行的时候,或者说一个SPA任,我在执行的时候,他是不是需要用到这些炸包,对吧?好,那你想一想,我们DS调度这些任务的时候,那它的炸包咱们给它放哪呢?能理解吧,OK,好,那DS呢,为了解决这个问题,它就怎么样呢?给咱们提供了一个这种所谓的资源中心的功能,我们可以在资源中心当中去保存这些任务所需要用到的炸包或者是配置文件,能理解吧,那将来呢,DS在调度这些任务的时候了,这些任务就可以从我们指定的这个资源中心当中去寻找它所依赖的这些文件了。
18:09
能力吧,主要是为了方便这样的一个操作啊,是这样好,那它这个资源中心对不对,那它是不是得保存我们所需要的这些炸包啊,对吧,它存在哪儿呢?诶这里边有一个可以选择的选项,我们可以存在HTFS,你可以存在S3,这是亚马逊的一个分布式存储系统啊,或者说你可以不用这个功能啊这那在这儿呢,我们通常使用谁呢?就使用HDFS就行了。HDFS这个大家注意一下就行了,好,那继续往下走,那下边这个地方,那咱们应该填的是什么呢?很简单,就是你这个资源中心里边的一些内容,对吧,里边的一些资源对不对?它的一个根目录是什么,咱们就放在刀分盖这就行了啊是这样的比较简单,那继续往下走,再往下呢,这咱需要填什么?这儿是不是咱们需要填一个default FS,也就是默认的,诶这个什么东西啊,就是FS的一个地址对吧?说白了就是这就是HDFS那个namenode一个地址吧,对不对?那在这呢,咱们需要怎么改,在这儿呢?我们需要将其改成什么呢?改成hi loop102对不对,这个改成咱们自己,呃,这个集群一致的信息就可以了啊,这个一定得注意啊,然后这儿呢,还有一个小细节需要注意一下啊,什么细节呢?就是咱们这个集群是不是可能是ha的呀,对吧?
19:21
我们可能会启用name not的ha嘛,对吧,那启用name内namenode ha之后,那我们应该怎么去操作呢?这块大家一定要注意啊,你要是启用了name notde的HAOK,那我们这块你得这么做啊,首先第一点你得将呃,Hi doop当中的诶,Co文件和HDFS的文件放在DS咱们当前这个解压目录的目录下。这是第一步,那第二步呢,你这个default FS就不能再这么写了,对吧,你得怎么写,是不是得写咱们那个集群的名称啊,对吧,你比如说咱们之前配的什么麦克拉对吧,你得这么去写,这是大家需要注意的点啊行了啊,那当然我们这儿不是ha,所以这呢,写一个具体的主机名就行了啊行,完成之后继续往下走,那再往下呢,我们来到第131行。
20:07
131行这块让我们填的是什么呢?是雅安的resource manager的一个端口号,OK,好,那下边呢,我们还要去写一下雅安的resource manager的一个主机,主机名OK,也就是我们在这儿呢,需要指定resource manager的一个地址,诶,我们这为什么要指定resource manager的地址呢?很简单,同学们,大家想想,我们是不是绝大多数的任务都是提交到雅安上面去运行的呀?没错吧,诶那既然是这样,那你想一想,那呃,我们一个任务提到眼上面去执行了,对吧,那那我们DS对吧,他怎么能知道你这个任务有没有执行完成呢。对不,他他他是不是得去解决这个依赖关系啊,对吧,他得知道你这个任务执行完了之后,我是不是才能提交下一个呀,对吧,没错,同学们OK,但他他怎么能知道一个任务有没有运行完成,很简单,他去访问一下雅安的resource manager的一个接口是不是就行了,对吧,他就能知道哪个任务对吧,有没有执行成功了啊是这样的啊,这个大家注意一下,那所以在这儿呢,我们就可以怎么做了,那那那我们就得给它配上咱们这个resource manager地址嘛,对吧?那首先一个就是逗号,这个咱们就不用改了,都是8088对不对,然后往下走,重点是这个IP怎么配,你会发现IP有俩选项,对吧,一个是IPS对吧,一个是single IP。
21:23
对不对,那这俩有什么区别呢?其实还是就是你是否启用了ha对吧?如果你启用了ha,好,那你得配这个参数对吧?如果没启用ha呢,你需要配这个参数,这个一定要注意啊,那咱们这有没有启用ha,我们是没启用的,对吧?所以没启用ha的情况下呢,那咱们需要怎么做呢?需要将这个值是不是置为空啊对吧?你得按照人的要求来,所以这块呢,咱们得给它置为空值,然后下边的这个single IP,那我们需要给它改成hi度102。呃,1103对吧,我这个牙齿在103大家那块也是一样的啊,OK,好,那这个改完就OK了,那再往下呢,我们还有一个第141行的一个参数叫做h DFS root user,这个呢,我们需要写谁注意同学们这块呢,咱们应该写为HDS的超级用户啊,为什么这写超级用户很简单,因为一会儿我们在部署DS的时候,他会用这个用户去往HDFS上面上传他那个所谓的资源中心的目录,对吧?咱们前面是不是配了一个资源中心的目录啊,对吧?好了,那你超级用户是不是才有权限呀,对吧?这个一定要注意啊,OK,那超级用户是谁,还记得吗?是不是谁启动的HDFS,谁就是HTFS超级用户啊,对吧,我这就是艾特啊,好了,那这块都配完之后呢,我们再往下走啊,下边其实这些参数我们就都不用配了,咱们用默认值就可以了,那行了,那截止到现在呢,需要配置的参数咱们就都已经配置完毕了。
我来说两句