00:00
好了同学们啊,那咱们接下来来看一下咱们这个第二章啊,就是K的一个环境搭建,那我们在这个安装king之前,我们先来看一下这个官网对于咱们这个K点它的一个依赖环境的一个介绍啊,由于咱们这个K点它的架构比较复杂,它需要依赖和东西,那首先我们看一下啊,就是咱们给大家讲的啊,大家可以打开我的这个资料啊,在我这个K0里边,咱们讲的是这个K04.0.1,并且是基于4823这么一个版本。那那这么一个版本啊,人家官方有这么一个明确的介绍,就说啊,咱们这个版本你得依赖什么呀,你得依赖于咱们这个Spark3.1.1啊,你得依赖于哈杜甫的3.2.0,包括咱们这个have的这个2.3.9。啊,那其中在我这个测试过程中,我发现啊,咱们的这个,呃,目前咱们机选中的这个哈顿53.1.3啊,虽然比这个版本稍微小一点,但是它是不影响的,而咱们这个HAVE312,咱们的版本是大于咱们这个2.3.9的,所以说啊,咱们集群中的这个韩动虎跟这个have是完全满足咱们这个K点4.0它的一个安装和使用的,但是经过我的测试,我发现咱们这个Spark3.0.0是满足不了K4.0的,因为人家要求最低版本也必须得是Spark3.1.1。
01:20
所以说啊,咱们想玩K04.0,你必须得先升级咱们的Spark,因为大家都知道啊,咱们这个咱们这个硅谷的Spark,咱们当前安装的是3.0.0,所以说啊,我必须得把这个Spark先升级为3.1.1,所以说在我给大家发的这个资料里边,咱们是有这么一个Spark3.1.1的这个安装包的,大家如果没有的话,你可以去官网下载一下这么一个安装包啊,那那那人家说了啊,咱们这个安装K之前呢,我需要提前部部署好我的hard have keepper,还有我的Spark,那我前三个是没有问题的,并且啊需要配置你相对应的环境变量,那咱们的环境变量也没问题,只不过啊我这个Spark我需要重新升级一下,好吧,那所以说我这个第一步就是先对咱们这个Spark进行一个安装和部署。
02:06
那我安装Spark是不是需要把我这个Spark安装包我再导入一下,那这样啊,那我们来到咱们这个102的什么呀,OPTSO里边是吧,咱们make DR kding啊make DR这个KYLN,那我就把我这个kding所需要的所有组件,我给它放到我这个kin这么个目录下,好吧,那我CD我的kding,然后呢,我打开我这个FTP连接工具。把我们这个K上课所需要用的东西,我都给他拿过来,打开咱们这个此电脑啊,里边有一个E盘。E盘里边有一个录课是吧,我找到咱们的这个资料啊,在咱们这个资料里边呢,咱们就有一个资料,哎,资料里边我们把这个咱们这个Kate4.0所需要的所有资料,我统统给他拿过来可以吧,这些这这些资料啊,在我这个讲课过程中,我都是需要用到的,那我们把咱们这个资料做一个全选,我全部给他拖过来。好吧,那这个时候啊,因为东西比较多,那我们需要耐心等待一下啊,咱们这个插件速度啊还是比较快的,好吧?啊,那你会发现啊,咱们这个Spark的安装包应该就搞定了啊,这个是稍微等他一会儿啊。
03:08
诶,咱们这个安装包搞定了,搞定以后呢,你就来到咱们这个102的这么一个OBD software k点下边,你哎看一下我们是不是看到了这个Spark3.1.1的安装包啊,那我就可以这们安装包做一个解压好吧,啊T啊杠ZXVF是吧?ZXVF把咱们这个Spark3.1.1你给我杠杠C你给我夹到咱们的op model下边好吧。嗯。那这样一来我CD我的OPT model,那咱们那在咱们的OPT model下面呢,咱们就有这么一个4SPA31,注意啊,其中这三个是咱们之前讲课用的Spark3.0.0,而这个Spark4.0.0,我这个K04是不能用的,所以说啊,我需要把我那个Spark home我重新向一下,我指向我这个RK3.1.1,那咱们先干嘛呀,咱们先给这个名,这个SPARK3点点一改个名字好吧,Spark3.1.1,我就比如说我就给它改成Spark3.1.1啊,咱们带一个版本号好吧,那接下来我这个Spark3.1.1,我就可以作为这个Spark home给我这个kidding去使用了,那咱们接下来啊,就按照文档咱们干嘛呀,咱们给他这个创建设置一下咱们这个SPA home。
04:20
然后呢,Source,咱们那个呃,ETC profile让咱们这个r home生效,好吧,那接下来我就打开我的那个修度啊,打开咱们的环境变量进行设置啊,Vm AC profile.d是吧,咱们在下边有一个麦音V,我在我这个麦音V里边,我的最下边,我就给它加上这么一个SPA home,咱们把咱们这个文档这个复制一下吧,好吧啊。把咱们这个Spark3.1.1是吧,设置成咱们SPA home,然后呢,把咱们这个SPA home上面的闭目录,你给我拼接到咱们这个pass这么一个环境变量下,咱们接下来WQ保存,保存完以后呢,你还需要S一下啊,So source,咱们的ETC profile,那接下来来咱们这个Spark home就生效了,也就是说你当前敲一个Spark,哎,它给你打开的就是咱们这个Spark3.1.1里边那个Spark的。
05:13
运行变量了,好吧,啊,那你把这个Spark home设置好以后呢,咱们还需要干嘛呀。咱们还需要修改一下咱们这个Spark3.1.1的这么一个SPA因V,你要知道啊,咱们将来咱们这个Spark它跑的肯定是雅模式,咱们肯定需要在雅安模式上是吧,跑咱们这个SPA程序,所以说啊,我需要修改一下我这个SPA因V,让咱们这个Spark能够找到咱们雅安的一个呃呃,配置信息,好吧,因此我怎么办,我来到我这个Spark3.1.1里边,在我这个里边呢,有这么一个抗洪目录。那接下来我就CD我的com,在我这个cup里边有有一个sparkv,那我们在改这个配置文件之前先改个名字啊,我们FV Spark env.SH,咱们给它把后边那个后缀你给我去掉,好吧,那咱们接下来就可以VM咱们的SPA inv了,在咱们这个SPA inv里边啊,你给我在最后加个什么呀,咱们需要加上一个雅安卡复DRR吧,大家应该还记得吧,哎,咱们需要加上这么一个雅安康复R,然后呢,把咱们哈杜甫的一个呃配置目录你给我配过来,让咱们这个死SPA3.1.1能够找到咱们的雅安啊,是这么一个逻辑啊,那么接下来把这么一条配置信息你给我原封不动粘贴过来,然后呢,WQ保存。
06:32
那这样一来,咱们当前的这个Spark3.1.1就可以使用咱们的雅安模式了,OK,那这个雅安模式没问题,以后呢,我们还需要做一步啊,由于由于咱们这个kidding,哎,它需要把这个原数据存到这个my circle里边,所以说啊,咱们这个Spark3.1.1,它需要能够连上my circleql,那你这个Spark想要连接MYSQL,我必须得拷贝,拷贝一份咱们这个my circlel的连接驱动啊拷贝到哪呢?同学们,咱们需要啊,在咱们这个Spark3.1.1里边是吧,你插其中有一个架子。
07:08
你得把那个my circle的连接驱动你给我拿过来,要不然咱们当前这个SPA是无法连接my circle的,好吧,那你走这CP啊,在我的OPT softwarewa有一个my circle my circle里边有这么一个my circle的connect连接驱动,我需要把这个连接驱动我给它cp copy1份,Copy到咱们当前目录的一个价什么录西,那接下来我就LL我的价子,那接下来啊,在咱们这个Spark3.1.1 1.1里边应该就有了这个my circle的连接驱动,好吧,那做到这一步,那咱们这个s Spark哎,算是准备好了。那你把这个SPA壳准备好以后呢,那咱们接下来就来安装部署一下咱们的K。那咱们这个K林又应该怎么安装呢?首先第一步啊,还是上传咱们K林的安装包啊,咱们这个阿尔法奇K点4.0.1有这么一个安装包啊,那咱们接下来我刚才已经上传过了吧,上传完之后呢,我们先找到这个安装包啊,我c do的OBD software有个kding在我们这个kding目录下啊,就有这么一个安装包,就是阿帕奇kidding的这么一个安装包,那首先你需要解压这个。
08:10
安装包,把咱们的安装包减压到T风头项,好吧,我接下来就T-ZXVF,咱们有一个阿尔法奇K里,然后杠大西到我们的OG modeldu这么一个目录项,好吧。那咱们接下来就可以打开咱们的OPT mo6啊,在我们这个OPT mo6下呢,就有这么一个阿帕奇kding,那咱们这个名字太长了啊,我也改个名字好吧,MV阿帕奇kding,然后呢,咱们这个名字就叫kding4.0.1啊,我带这么一个外本号好吧,我点个复制啊,直接敲回声,那接下来咱们这个KLY4.0.1你就解压好了,解压好以后呢,咱们得针对咱们这个K点咱们干嘛呀,咱们给它做一些配置啊,同学们啊,配置什么呢?首先啊,咱们这个kidding也是需要连接circlele的,那所以说啊,我刚才考的那个my circle的连接驱动,我的kidding也需要来一份。
09:00
好吧,但是咱们这个kidding你放哪啊,那我们那我们这样啊,我们先进到这个kding4.0.1下边,你发现啊,它里边有一个例如注意啊,咱们这个例如是kidding自带的一些加包,你把那个买赛考系统放在这儿行不?它不行啊,不要放在这里人这个官方推荐什么呀,推荐你在这个kid的根目录下,你自己手动创一个目录,这个目录的名字就叫EST啊,咱们先手动啊创建这么一个目录叫EXST,然后呢,我就可以把我这个额外的一些加包我放到这个EST里边了,那因此啊,我CPC啊,我的OB obt so my里边有这一个my circle的连接驱动,我就把这么一个连接驱动,我给它放到这个king的这个EST这么一个目录下,好吧,点杠有这么一个一有这么一个EST,那接下来咱们LLST是吧,我当前这个K点。就有了这么一个my circle的连接驱动,好吧,那咱们这个连接驱动搞定以后呢,那咱们接下来呢,接下来我还要修改一下咱们这个K的一个配置文件,注意啊,在这个配置文件里边,我们要改什么东西啊,我们要改一下咱们这个K点的一些语言数据存储啊,HDF的工作空间啊,包括咱们这个kin那个组keepper目录啊,包括这个什么呃哈多的配置文件啊,咱们都再改一改,咱们接下来啊,找到咱们这个kding的配置文件。
10:23
在哪啊,在这个com复目录里边啊,你CD这个com复在咱们这个康复目录里边有这么一个K0点,那我就VM打开咱们的kiding.purpose在这个kiding.purpose里边,我们首先改谁啊?首先我需要改一下我这个kiding的me啊,也就是说咱们这个kiding的一个原数据,你需要把这一行啊注释放开,然后呢,把咱们这个local host是吧,改成咱们的这个哈杜102,然后它默认那个库名就叫kidding,那个kidding咱们不用改啊,咱们将咱们将来需要在那个my circle里边干嘛呀,创建一个库,这个库的名字哎,就叫kidding,这个是必须的。
11:02
好吧,那咱们接下来啊,就把这这么一条配置信息,你给我把它注释注释放放开,然后呢,咱们修改一下咱们这个原数据的一个配置信息,把这个local host我需要换成哈杜102没问题吧,哈杜102的3306,然后我的我的库名就是K点,然后呢,我的用户名呢啊,咱们就把咱们的root编号给他,好吧,我的用户名是root,而我的密码就是123456啊这个账号啊,是咱们的这个my circle这个账号啊,12345。没问题吧,啊,那后边两个参数我不用改,那是第一步,第一步改好以后呢,再往下需要改啥,那么再往下啊,需要改一下咱们的这个K。在咱们的这个HDFS的一个存储空间啊,注意啊,这个你需要改一下,因为咱们说过啊,咱们这个kding它底层存的是那个的文件,而咱们这个park的文件就是放在了咱们的这个HD上,那你总得给我找个目录吧,我放在哪啊是吧,咱们就把咱们这个默认的目录你给我放开就可以了,咱们默认啊,就放到咱们这个这个根目录的K点这么一个目录下,好吧,我默认啊,我在我的HDF4的根目录下,我创了一个目录叫K点,那我这个K就是咱们这个K点的一个空同空间,好吧,那再往下呢,再往下啊,你要设置一下咱们这个K点在组kper里边的一个共同目录,如果你需要搭建这么一个KT集群了啊,二零这个K集群需要用到组kper来做这么一个分布式的协调服务,所以说啊,我需要设置一下好吧,其实这个也也不用设置啊,你只需要把这个原有的这么一个参数你给我放开就可以了,好吧,然后呢,再往下呢,它什么呀,有他说你是否使用本地组keepper啊。
12:43
这个本地组keepper就是kidding自带组keepper,那人家默认force,人家不用,咱们也不用,咱们得用咱们的web的组keepper,那因此啊,你要用web的组keepper的,你得给我一个外部组keepper的连接字符串,注意啊,在我们下面这个参数啊,就是组keepper connect就是这个外部组keepper的一个连接字符串,我需要把咱们自己集群的组黑本我给他写过来,好吧,咱们自己的组黑本是不是哈杜普1022181,哈杜变成32181,还有咱们这个哈杜普104的一个2181啊同学们是这样的啊,那我需要啊,把咱们组kper的一个连接字符串,咱们给它拿过来啊。
13:23
把咱们这个HTSMY口,还有这个组keep设置好以后呢,你接下来你往下翻,哎,咱们还要修改一个配置参数啊,修改谁呀,修改咱们那个哈杜普的一个。这个配置路径啊,你往下翻啊,往下翻往下翻。注意啊,这个配置文件稍微有点大,你需要好好找一找好吧。咱们需要找到哪里啊,我看一下啊,我们往下翻一翻啊。这个都不是啊,那这样,那我搜一下好吧,我需要把谁呀,把咱们这个哈杜康复这么一个参数,你给我按照咱们的本地集群,你给我改一改,那我复制一下啊,搜到它,诶在这个里边啊,在这你需要把这么一个参数啊,你给我放开,放开以后呢,咱们当前哈杜甫的一个安装目录大家都知道吧,哎,咱们这个杜甫的配置文件在哪啊,在咱们的这个opg model有一个哈杜普313啊,有这么一个AC哈杜普,你把咱们这个哈杜普的这么一个呃,配置路径你给我拿过来就可以了,大家都知道啊,在咱们这个at APP下边有一个哈豆普,这个哈豆里边是吧,存放了咱们哈杜普的各种配置文件,OK啊。
14:30
那这样一来,咱们这个king的这么一个安装,就是配置的这么一个参数,咱们就改好了,改好以后呢,我直接WQ保存好吧,同学们啊,做到这一步,咱们这个kding就算安装部署好了,那再往下我是不是就要启动kding了,但是咱们这个kding启动比较复杂,它需要你准备一些环境。好吧,那咱们这个视频先暂停一下,OK啊。
我来说两句