00:00
啊,那其实本质上这个麒麟的安装很简单,麒麟的安装呢,本质上是很简单的啊很简单,那其实我们如果说呃只装麒麟,你看啊,咱们安装麒麟就这一步。下载麒麟安装包,上传到服务器解压,然后就可以用了,不需要做额外的配置。啊,这是它的,它这个安装啊非常方便,但是呢,我们麒麟因为它什么呀,因为它会依赖很多的组件啊,你看一看上面这个图你看啊。这是麒麟对吧,你要想使用麒麟是不是得对接have,那你得保证你的have是没问题的对不对?那其次呢,得用啥HP,那所以说你得保证h base没问题,HP又依赖于组kper,所以组kper是不是也得没问题才行啊,那这些东西是不是都依赖于海度啊,所以还得把海度保证没问题,所以它依赖的东西比较多啊,那那所以说我们在安装麒麟之前呢,需要先确保我们所有的组件都是正成用的啊,你不能说你安装了安装,但是你不能用也不行啊,对吧?得保证正成用才行,好那现在呢,我们来检查检查咱们现在,呃,目前当目前啊,咱们都准备好了谁了啊来第一个先看一下。
01:11
还做过单有没有有have型有没有,有没问题组kper呢,有h base啊,呃,HP在咱们现在这个集群当中没有对吧?没有的话我们得再重新装一个,如果大家用的集群里边已经有h bases了,你就不用再装了,就用它就行,能理解吧,但是你在用之前得先确保你自己那个h bases啊,能够正常使用啊,咱们确保能够正式使用啊,你打开h base的这个shell客户端,你比如说你去创建一个表,你往里边PUT1条数据,你看看能不能成功啊,这用于这样去检查它是否可用,这个才是最确,呃,最最能够确保它这个可用性的方法啊。那如果说大家启动HP之后,你假如说你看到了它有进程对吧,有master,有server,那这个不一定来说明它就是可用的,能理解吧,因为他后台是不是可能已经报错了呀,但是你没看到能理解吧,啊最好这个亲自去试验一下,看能不能用啊好,那也就是咱们现在是不是还没有h base,那接下来咱们需要把h base呢,给它安装一下啊好,那我们现在先安装h base,打开这个h base的这个安装。
02:12
文档,呃,就在咱们这个麒麟的文档当中,有一个内线的啊,我给它打开快速的装一下。快速安装HP啊啊安装HP呢,需要保证ZK的OK还do不OK,我这没问题,大家来安装HP啊。好,那在安装之前,以及一会儿在启动麒麟之前呢,我们需要先将咱们这个集群当中无关的进程全部干掉啊,因为麒麟一会你会发现啊,咱们需要启动谁启动还do启动do开per启动HS完启动完之后是是还得进行预计算呀,对吧?异算是不是还得跑mmr或者Spark呀,对吧?所以说占用的资源会很多很多,那所以这时候呢,大家需要把之前的无关进程全部关闭,比如说无关的有谁。卡夫卡关掉阿卡班咱也用不到了,也关掉啊,那现在我先把这个技能先关了吧,那我们azk阿斯卡本点SH先stop外吧,咱们用脚本关就行对吧。
03:11
再来一个道,BEC啊。Ex ec。你说。好,把无关进程全关掉,咱们节省一点资源。啊,那留下谁就够了呀。留一下咱们的这个海豆就行了,对吧,海豆留着,呃,JK是不是一会也也得用到啊,那JK也留着啊。好,X号GPS一下啊,那现在我集群当中的进程只剩下了海度和啊对吧,还都会有H,有雅安,然后还有谁,这是谁知道这是谁的进程吗。这是不是就是ZK的进程对吧?OK,那咱们就留着他们就行了,那接下来我们安装一下这个h base啊,那先拿h base安装包OPT software,那make一个drh base。啊,那直接make d kding吧,咱们K把这个麒麟需要的这个安装包全部上传上来,来,我们点开它。
04:06
找一下我们的所需的资料啊,找到这个数据仓库,这个资料在那呢。好,我们先拿H。呃,双击。那再找一下麒麟的安装包,麒麟啊麒麟那这俩我们全拿过来,一个是麒麟,一个是那个Z那个BI工具,对吧,我们把它俩全拿过来啊传输。有点大啊。麒麟的安装包呢是200多兆,这个Z是900多兆。啊,因为这种BI工具啊,它需要对接各种数据源对吧,所以它依赖的驱动就比较多啊,所以里边这个这个包就比较大啊。啊,已经都传完了啊,都传完了,传完之后呢,我们现在呢,先安装h base啊呃,先解T-ZXVF。啊,HP安装很方便很快的啊,来杠大C到OB走。好,检查完毕,然后呢,进到OPT audio,好,那现在呢,我们就要进到h base的这个目录,咱们改个名字吧啊,H base留下HBASE,好进到HS好,那进到com复目录,我们需要修改几个配置文件啊,打开文档吧。
05:14
首先第一个往下翻,我们需要打开这个HVCV,是不是把这个文件得改一下呀,来我们打开。来vmhv inv.SH好,我们找到那个ZK那个参数啊,我们要改的是不是有它,那大家还记得这个参数是什么,什么作用来吗?三面星有注释啊,对吧,这是不是告诉h base是否他应该自己维护一个组开班的实力啊,对不对,那咱们让他维护吗?不让它对吧?我们使用集型当中公有的这个K,要不然可能会冲突对吧?那这个呢,我们需要给它把注释,哎,这个放开,然后呢,给它把这个处呢设成for fairc,好,Shift z z保存这个文件搞定了,那下一个文件是谁是h base的。Set文件吧,Set啊,那h set呢,我们需要加上以下这三个参数,咱们全部粘出来啊。
06:06
来,V mh with set,好,那往下拉找到咱们那个configuration,那粘的时候不要粘重了啊,不要把那个configuration也粘过来,粘过来之后是不是那个语法就不对了啊,咱们这是XL文件啊,不能有嵌套的相同的这个元素啊。好来先看一下这仨参数分别是啥啊,那第一个呢,是h base root d,这个指的是啥?只是h base在HDF上存储数据的跟路径吧,啊跟路径啊,那咱们放在哪儿,是不是放到了H海度1028082的h base这个这个路径下呀,然后大家注意注意什么?注意一是主机名,一是端口号,这跟跟哪保持一致,还记得不?跟哪跑一致啊,就打开海度跑HADOOP102,然后呢冒号9870回车,跟这个位置是不是保持一致就行了呀,这是多少,你这个位置呢就写多少啊啊那完之后往下走,下面呢是h base是否搭建分布式,那绝对是啊对吧?啊下边呢是组K集群地址,注意这只写主机名海DO102海DO103海DO104啊那这个部署完毕,我们shift zz保存。
07:11
行完事了啊,那完之后呢,我们还有一个文件,还有一个文件啊,别忘了。还有谁是不是还有一个region service这样一个文件呀,在这个文件当中,我们需要指明region service啊,C点点。然后呢,我们进到诶诶不用点点还在看目录啊,诶VM应该是region source,好,那我们现在region service应该有几个呀。几个呀,三个,之前我们在讲HP的时候呢,其实给大家讲过啊,部署h base的时候,Region server必须得保证什么跟谁在一台接连。跟谁在一台接连?得跟hdfs note在一台一联吧?还记不记得啊,为什么要跟在天起点呀?是不是要保证那个数据的本地化呀,对吧?因为大家都知道我h base数据是不是由region so维护对吧?那region so里边的数据存哪存HTS上对吧,对不对?那如果说我把read server跟data node放在一台节点,那HH会有一个这样的优化啊。
08:09
他会怎么样啊?它会把我这个region server所维护的这个region的数据,是不是至少会有一个副本存在它所在节点的这个data not上啊,这样我读写数据的时候是不是直接读本地磁盘文件,没有网络传输对吧?那所以说要求这一点大家得记得啊,那这边忘了是吧?啊,我就知道得忘了啊,哎,还是102,那就说你的这note在哪,你的reading server就在哪啊,幺零几103诶。然后诶。然后回车海度港1043台节点shift ZC保存,这个是不是完事了呀?那到现在呢,我们相当于就完成了h base的所有配置啊,都拍完了,那待会文档是不是还有一步啊,到时候我们可以将需要我们将这个海度的配置文件链接到或者是复制到h base的com复目录下边吧,那这块咱们需要做吗?
09:03
呃,这个你得看情况,如果基金当中你部署了海op home啊,如果部署了海,那这步你就不用做了,如果没部署海de home,就没配那个环境变量,那这步你就得做啊,也得做,那这是底层原理什么样的啊?因是这样的,我们启动h base,咱们是不是用的是HP的群体脚本start HP对吧?那HP启动的脚本当中呢,会有以下这样的逻辑,什么逻辑啊,它会根据集群当中的海多home去找这个对应的配置文件。他能找到啊,所以说你要有head home,那你这个就不用配了,如果没有他是不是找不到,找不到你就得给他拿回来,是这样的,咱们这是不是有啊,有的话这个不用做了,也就是说你只要改这三个配置文件就行了,那接下来呢,我们将HP分发op Mo HP,诶分发了啊走。分完之后呢,那咱们就可以着手启动了啊,那大家说在启动HV之前,我们需要考虑什么。
10:01
要考虑什么呀?首先得考虑我们集群当中的进程是不是满足h base的要求,对吧,那第一个海杜op,包括H,包括雅是不是也有,那还有谁。组黑伴组黑瓣必须得有,我这儿已经有了,对吧,我就不用再起了啊,然后还有一点,还有一点啥呀,集群的时间是否同步,你得注意一下啊,来看一下H当中有一个这样的参数,这个参数什么来着?H master makes clock skill啊啥呀,Time difference of reading server from master这个意思就是啊,Reason server和master之间的这个时间差对吧?啊,如果说我的master时间和你的reading server之间的时间相差超过这个值,这个值默认应该是30秒,超过30秒那这个region so就起不来了。对不对啊,那这边文档说咱们可以怎么去搞这个问题啊,他说你可以把这个设大一点对吧,那这个参数咱们最好别调啊,你应该保证的应该是啥?保证应该是集群时间的同步对吧?而不是去把这个值调大啊,那我们把这个呃时间查看一下,看同步的同步啊,我们一下看三代基点X date。
11:09
啊,全是10:19,是不是相差不超过30秒啊,那就没问题啊没问题啊好,那现在我这个应该是已经准备完毕了,对吧,我现在是不是就可以启动h h base了呀,那咱们启动h base呢,采用群体脚本啊群体方式我们进到啊这个HP,那群体方式应该是哪个来着。二是吧,那停呢。凭啥stop base吧啊,这个大家要注意啊,那现在我比如说先提起来啊,Star star回车啊,看能不能正常启动啊。啊,那这里边打印出来了一些日志啊,这里边有一些log分页的这个炸包的冲突啊,这个不用管它,我们看这几个核心的。这个是不是启动了master,这个是不是启动了三个region server,没错吧,那现在我们看一下进程啊X。GPS。
12:01
Region server,呃,Master啊这呢,然后regionr,呃,Region server没问题吧,都起来了啊,那现在呢,我们去看一下外部页面啊。那大家自己去检查自己这个麒麟安装是否正确,然后呢,就是说它是否能够这个可用的话呢,两种方式啊,一种方式像我刚才说的那样,是不是可以打开一个h base的shell客户端,还知道怎么进不。H base,然后呢,Shell想不起来了吧,我感觉就想不起来了啊,那是不是可以进到这个h base shell这个客户端呀,对吧,你在里边你可以建一张表,然后往里边put一套数据,你看看能不能成功啊,能成功就说明HP可用啊,就说明可用啊,那如果说你不想这样测啊,比如说我忘了,那你怎么看也行啊,你打开它的外部页面也能查看这个集群状态啊,页面应该是master的页面对吧?那应该是海豚102顿号多少来。16010啊,1010啊,打开页面,打开页面呢,咱们看这样的两个地方就行了,第一个先看这个位置,看一看你集训当中的source是不是有这样的三台,102103104是不是,如果有,那说明三个resource是不是都是健康的呀,对吧?那还得看一个地方啊,看哪看下边这个。
13:16
看tables,你看tables啊,点哪,如果说是新的集群,你点那个system tables,你看一看,那这个位置能不能出现,出现什么呀,能不能出现这样的两张系统内置的表。啊,如果不能出现,那就说明你的master现在有问题,因为我们这个查询这个表,或者是这个建表等的是由谁负责的呀,是master负责的,对吧?如果说你能把这个表名拿到,那说明master是正常的,如果说你这儿没有这两张系统内置的表显示不出来,那说明你现在master绝对有问题,那你就得去后台看一看,你master呢有没有报错,看他的日志有没有报错啊,然后有报错的话,你得解决一下啊,是这样的啊,也就是说啊,通过这个位置呢,你能看到我们的reading server是不是有问题的,通过这儿呢,你能侧面看出来你的master是不是有问题的啊,如果这儿呢都没问题,那就说明咱们h base集群是OK的,是搞定的啊好,那现在呢,H bases我们是安装完毕了,视频录一下啊。
我来说两句