00:01
好的,那接下来呢,我们把集群当中还差的一些环境呢,我们做一个安装啊,那这块呢,主要有这么三样东西啊,第一个是Phoenix存储我们维表的,第二个是red,因为我们最终在关联维表的时候,如果直接访问Phoenix呢,它的效率还是偏低一些的啊,那所以我们用red可以做中间的一个缓存啊,当然这个代码呢,在后续我们会去写,比较复杂,我们会带着去写啊,那第三个呢,是克林的环境,也就是我们DWS层的一个环境,对吧?好,那我们就来搭建一下。呃,打开我们这个文档,呃,那F呢,它是依赖于这个h base的,所以我们先要去部署h base啊,呃,那是这样,我们将h base呢,还是安装在这个。345就哈多3103104105这三台机器上面好吧,呃,那首先呢,咱们在主节点上面,因为我们之前都是把架包上传到主节点的,所以呢,我们先做一个解压啊。
01:07
然后这个杠大C的op Mo啊。呃,同样的Phoenix呢,咱们也做一个解压。阿帕奇Phoenix也是把它放到我们的Mo目录下啊。然后呢,我们去。修改这里边儿的一个配置文件啊,把相应的内容呢,做一个调整好吧。Phoenix呢,其实就是一个客户端啊,你装在哪一台节点上面其实都可以啊,这个无所谓的好吧,呃,那我们进入到这个,因为我们就直接在这个主节点上做修改,完了之后呢,我们到其他节点上运行的时候,我们再做调整啊,有哪些东西需要调整,到时候我给大家去介绍好吧,呃,那首先呢进到这个。
02:02
这里边来啊看一下目录,那我们要改的东西呢,主要就是这个康复目录啊,那大家其实看到这里边它自动解压的时候呢,有一个这个哈杜用户,有一个root的用户,这是我们等会儿也会提到的,在我们这个em Mr集群当中呢,它会有一个哈杜用户,因为我们自带装的有这个哈杜对吧?啊,但是这也没关系,我们到时候去改一下啊,跟大家说怎么怎么去弄啊。好,呃,那我们就按照这个文档,我们一步步来,第一步解压,第二步呢,配置文件先改一下哈,NV里边主要配一下我们的JDK啊,以及不用内置的ZK啊,那默认呢,因为h base它依赖于ZK,所以你要直接启动的话,它就会启动这个默认的这个ZK啊,那我们明明装了有ZK,那我们就用系统就我们em Mr当中安装好的这个ZK就可以了,对吧?呃,那第一个呢,我们。改一下啊。呃,啊,对,我们进到康复目录。在这有一个烟对吧,那vm base。
03:02
看烟V诶错了啊,对它还有除了烟v.hi MD啊呃,可以搭载这个Windows上,那我们就不用这个,其实你可把它删掉也无所谓啊好进来,呃进来好以后呢,我们找到第一个啊这个JDK对吧,把它注释打开啊,然后呢,把这个改掉。这个地方,但是他说,呃,那我怎么知道我的集群当中这个东西在哪呢?我跟大家说一下啊,来看。把这个放在这儿啊,你退出来,比如说那JDK呢,并不是我们自己装的,对吧,那我们怎么找到它路径呢?因为大家知道我们去运行的时候,JDK它肯定要配置环境变量,所以一个很简单的方式,我们直接E是吧。Dollar。Java home啊,你看是不是刚才我们用的这个地址啊啊em Mr机型当中呢,就是无所谓,你去艾一下就好了,像这种配置环境变量的东西呢,自己完全可以找得到好吧,呃,那咱们大家用的都是E8的话都一样啊,第二个呢,就把这个关掉啊,那我们再重新进一下,刚才为了演示这个东西啊。
04:07
呃,默认的呢,它是打开的,我们得找到这个参数,当然这个参数是注掉的,你自己添加一下,其实也可以啊,那我们给大家看一下。呃,关于租K的一个配置在这对吧,默认值呢,是处啊,但是你不不在这改直接呢,呃。把那个复制过来其实也可以啊,这个我们首先要用自己的ZK好吧,呃,这第一个环境上我们就搞定了,第二个呢,我们要改一下这个H-set啊,这个配置文件好吧。刚的好,这个目录里边呢,实际上是空的,看标签里面没有东西哦,插入啊,然后呢,我先把这个东西拿过来,然后呢,我们跟大家说一下这里边有什么东西啊他C。直接拿过来好,呃,那第一个。HDF路径啊,因为HP的一个数据呢,存在HDFS的第二个集群,第三个端口号对吧?啊,默认端口号呢,有然后我们可以。
05:06
自己指定的这个无所谓啊。然后H贝斯的一个地址啊,不是H里边所依赖ZK的地址,对吧,这个呢,我们稍微要改一下啊。因为我之前用的是呃345,这次呢,咱们是678对吧,那我们稍微改一下678。啊,这个大家看你自己的集群就好了,保存啊,那这块呢,咱们就搞定了一个对吧,把它搞定了,加了reading so,那我们用345啊,还是跟卡夫卡集群一样啊,用这三台就够了啊,我把这个先复制一下啊。复制好以后呢,我们直接叫reading,然后把这个干掉,然后呢。保存退出啊好,那到这块为止呢,咱们就搞定了,搞定之后呢,我们需要去分发并启动对吧?好,那我们去分发一下。直接到module这来,XSNC杠括A括,我们之前写的是345这三台机器对吧。
06:01
啊,分发一下。好刚好这边呢,咱们是有这个345的这三台机器的一个。入口对吧,那我么进到这个OPT model啊呃,那现在呢,像我们的这个base啊,它是属于这个root用户对吧?那未来呢,其实他跟哈杜对接的时候,他需要有哈杜用户去操作才可以啊,要不然你现在是不行的,呃,到时候他会报这个权限错误,因为你是root用户,那也就是说这个root用户不是超级用户吗?他应该可以操作我们的哈杜用户的内容啊,啊,其实并不是这样的,对于HDFS而言呢,谁启动拿每个用户启动的。HD这个服务谁就是超级用户好吧,啊,那所以呢,它是自带的拿哈用户去启动的啊,那所以我们要改成哈杜用户啊,那这边呢,我们就改一下呃,Change on。杠R,然后呢哈杜。哈多为用户哈多组,然后呢,这辈的杠R呢,当然是递归,把这里边所有内容全部改掉,好吧,走你。
07:07
哎,一下。看啊呃爱啊这里边呢,就全部是哈了,包括他自身的这个目录对吧,这个就很快啊呃,那接下来操作启动的时候呢,我们最好是用哈多用户啊呃,那你用入端的哈多用户呢,当然没有问题啊,那接下来呢,你在用的时候就会呃。比较麻烦一点啊,那这样我们呢,给哈多用户改一个。密码啊,同时我们把其他两个节点呢,也做一下处理。看着个r how do。冒后画动还这边好,呃,那家同学想到了你这样一个一个改,是不是比较麻烦?是不是对吧?啊,那因为我们现在啊,这个东西呢,它呃只有三台机器比较少啊,那还有一种方式我教你啊很简单,那我们可以这样来看啊。
08:03
首先。我们pass。给哈杜用户呢。去。另立一个密码好吧。然后呢,我们新的密码大概的规啊,这个密码呢,你就用自己的就行了,他让你再输一次啊。好,那我们这个密码有了,接下来我们讲一个东西啊,给他说那你未来在生产环境中,我们集群可能很多,不止三台机器,如果一个一个就改变麻烦,对吧,我们还有一种什么方式来看好了啊呃,现在呢,密码已经改了,同时呢,我把这个。四五密码也改一下啊,我改成一样的。哎,这边好像输错了,那我们重新输一下啊。诶这边啊,果然第一次应该是跟第二次不一样,我刚才呢,应该是有一点问题,好,那我们重新输一下这个。
09:05
好,这个搞定了对吧,呃,105我们也改一下啊。啊,密码那你就记住就好了,你自己记住自己的好吧,这个呢就不做统一要求了。好,那165搞定了对吧?呃,那接下来我们做一个什么事呢?这样啊,那我们再来三个。还是来三个,呃,这个大家要自对于自己的要记得啊,S到哈杜103。啊,然后这边呢,SSH。啊哈杜104啊,那这边呢,我们105那都说诶搞两个干嘛呢,对吧,来看啊呃,对于这个呢,我们都用这个哈杜用户好吧哈杜。速杠啊,这个用户呢,并不是我们需要我们去创建它系统呢,就给我们创建好了,因为它的哈多服务用的就是这个用户去启动的啊,所以我们直接写下来就好了啊呃,而且呢,这个地方open Mo我们的呢,已经是哈多用户了,没有问题对吧?我们来看一下检查一下啊,你看都是哈多对吧。
10:18
好。然后这边也进来啊。Op model l啊,或者说L一样对吧?呃,那这三个记住啊,是我们哈用户,这三个呢,是我们的用户,那接下来我们做一个什么事呢?在我们哈杜普用户上去。也搞一个一样的内容啊,搞一个分发的脚本,对吧,那在做这个之前呢,我们先做一个事情,把我们的。哈杜用户免密登录也配一下,还记得吗?SSH-K。给杠TRA对吧,走。好,那哈杜啊,那我们SSH-copy,然后哈杜103啊,自己呢也有一份好吧,呃,然后输密码。
11:09
好,那这个搞定了,那104。啊,也就是说我们将哈杜普用户呢,也配一个免密登录啊,那未来呢,我们就会很方便了。啊,等会儿我跟大家说一下怎么就方便了,对吧,因为刚才呢,我们一操作就是三台机器。对不对啊,一操作三代机器要分别的去改比较麻烦啊,那现在呢,咱们就不要这么麻烦了,比如说我们在这儿M一个。A点啊叫test吧,Test测试点TST,好,那随便杜HP。硅谷对吧,我随便写一点东西,为了看这个内容啊。Open file for writing啊。他说我们。这边我们再重新退出来看一下啊,看出了什么事,诶这边是卡住了吗。
12:02
稍等没有卡住是吧。啊,硅谷啊。WQ。呃,保存一下。他不让我们写对吧,那我们先先退出来,我们看一下是怎么回事。嗯,我先强制退出吧。啊,它当前目录呢,应该是属于我们的这个呃,弱的用户的对吧,我们拿哈多去操作不行啊呃,那这样我们进到h base里边,我给大家演示一下啊,比如说在这我随便写一个叫还是test.testt啊,那这里边呢,我们去加一个硅谷好就一个单词得了啊这就可以了,这是我们哈用户对吧?那接下来呢,我要把它分发过去,那么它自己直接就哈。大家能明白我的意思了,对吧,所以我们就直接用哈,用户去做一个分发,这样也是可以的。啊,用哈多用户做一个分发,这样也可以的啊,那我们同样的呃,要有这个分发的脚本是不是啊,那这样啊到这儿来,嗯,分发脚本呢,本来是入的用户的,所以我们到root用户去操作啊呃,CD。
13:07
我们的分发脚本是不是在这对吧,好,那我们直接CP-RB目录啊,给它上传到后,然后呢,这个哈杜。摩洛地亚好,那这边有了对吧,CD的后哈杜。啊,那咱们有一个并,但是呢,它是入的用户啊,你不不能操作对吧,还是一样的啊,那这个呢,是整个的命令行,我们自己操作一下,这个是没有问题的,好的稳定好,那改掉了,改掉之后呢,我们这边就可以用了啊那对比一下啊,这边呢,有一个t test.tst对吧L下。他没有对吧,这边L一下。Base,呃,他也没有什么test.tst好,那么在这上面呢,我们XSNC杠扣test.tst走。呃,我们再来检查一下。
14:00
这个发过来直接就是哈多用户了啊,所以呢,当你在生产环境当中,这个集群比较大的时候,那你可以先把哈多用户配好,然后呢,配置它的免密电路啊,把这个分发脚本呢也写好,然后呢一分发就搞定了啊,那这块呢,是我们的一个安装啊,还差最后一步,我们的环境变量啊,把它配一下。呃,环境变量,诶这边没有去写对吧,那没关系啊,因为我们之前已经有了那个卡夫卡吧,对吧?啊,有了卡夫卡的话,那我们就直接找到这个卡夫卡的。在这儿啊,那这个呢,就是配置环境变量,你只要找到路径,我给大家讲一下这个路径在哪啊。卡巴的部署对吧?呃,我们配置的环境变量在往下走。在这对吧,我们还是进来。这个环境变量呢,我们只需要在这个3453台机器上就够了,对吧,好,那我们还是这个BC,呃,Profile d my env点对吧,那我们不是没有HP吗?没关系啊。
15:07
后插入把卡复制一份啊,这个注释我们也改一下,叫h base home。直接把它复制一分吧,好,那到这来把这个干掉,这贝斯啊,然后呢,把这个干掉。我们着啊,当然了,这个地址肯定要改的,要不然又是卡夫卡了,没用对吧,好,那地址呢,我们就直接PWD在这拿一个。啊,这个名字我就没改了啊,那有同学呢,习惯上说我把它名字改成这个,呃叫h base,我不要这个版本号行不行,诶可以对吧,这无所谓,好,那我们把这个分发一下,XXNC个空啊然后呢,分发的就是这个。走。呃,分发之后呢,记得SS一下让它生效对吧?好,那在三台机器上呢,我们都去扫一下。好,那这边呢,有了,你也可以检查一下,对吧,看是不是真的有了。
16:03
啊,比如说在105上检查一下,诶两个都有了,对吧,没有问题啊。好,那这块呢,我们h base就已经安装完成了啊。
我来说两句