00:00
好,接下来我们看一下那个安装架构呢,它确实比较复杂,然后我们就先尝试的用一下啊,用一下之后呢,然后去讲它这个原理,到那个时候大家能能觉得好点,可能能好点,然后这个安装呢,首先它是依赖于哈多宝和什么。OK了吧,所以你要保证这两个东西要正常部署吧,而且要开启要开启的OK,然后之后到我们这个H这块H这块来。CD奥米model,然后是,哎不是model对吧。哎,这个地方干什么。啊,然后我们现在用的呢。1.3.1给大家发过来啊,看一下这里面呢,发了两个东西,需要给大家解释一下。资料你用的呢,是这个1.3.1吧,给他导进来就行了,然后大家会看到有个哈杜宝2.7.2,这个叫什么杠点价对吧,这个是什么呢?因为这个1.3.1啊,我们现在学习都是用原生的,是不是它内置的,或者说它内部的,所以最兼容的那个框架呢,跟我们现在什么2.7.2不一致,你解压之后,你会发现它里边这个加包二依赖的是2.5.0的啊,5.1的,二点五点几的。
01:19
二点五点几的一个版本的,所以说有可能会出现这种问题,就是说在生产环境当中呢,如果真的你公司非得要用那个原生的,那你要自己去做这个兼容,那你就把你自己用的那个哈,这个账包给它导进来,给它导进来是这样的,但是就所知道的啊,我们了解到许多这个公司外面用的呢,都是CDH的。那CDH的,他就是将这些事他做了什么事呢?就类似于把这个加班已经提前给你做好了。就已经做好了这个东西了啊,就做好了兼容了,但是在学习过程当中呢,我一直用的这个1.3.1,兼容的是二点七点啊,不是2.5.0的,二点五点几的这个哈,多加包去操作,我们当前那个什么,我们自己安装的不是2.7.2嘛,是没有问题的啊,没有问题的。
02:07
啊,那大家知道这些东西啊,怎么去弄啊,也给他提供好了,如果你公司当中正好用的是这个阿帕奇原生的,而且用的是这个2.7.2版的,那你自己就不用去找了啊,这块就有了,是这样的一个过程啊,主要是这两个包,然后我们解压一下它杠。是H,然后杠到C到OB。这包还挺大的。因为它里面还放了很多的一个哈的一个包。好解完了,然后CD到这个model里边。我们我习惯了,还是把这个H改个名啊。走好CD到这个s space里边看一下它这个目录结构,那它这个东西也比较少吧,并目录啊不用说了,它的一个可执行门件都在这里面对吧,那没有它的一个启动啊,或者操作S啊都在这都在这儿可以看一下。
03:06
面积比较多,还有什么CMD的,CMD的是。Window上的吧,上的你看还有什么大,还到脚本呢啊,启动那个脚本OK,然后还有什么抗配置文件文档,然后还这边一个web。啊,他的也提供了一个外网的一个接口,还有他吧。那种看这里边集成呢,是不是有很多哈度的一个沙包啊,因为他是完全依赖于哈多的,他那里边那个集成呢,是2.5.1的,2.5.1的。那就是这些东西,那接下来我们要做的配置就是。看底下吧,同样的要改他的一个配置的,看里边看一下。要改的是这么几个东西。第一。
04:00
因为那想想这个,因为还是一样的吧,你该摆什么张宏对吧,还要改这个。Set它的一个配置信息吧,啊所有的一个配置,然后还要改个这个。Reading是不是跟我们那个slaves是一样的呀,啊,就是你的reading要怎么来要怎么背的啊,当然你不会你一个一个的去写这些,So也可以。也可以是这样的,OK。好,然后我们来配一下。在这。是贝,这个是在里边。看下,首先因为我们要动的,因为要动的。还有挨着辈子赛了也要动吧。然后还有一个威廉斯罗斯啊,威廉斯罗斯,它当前这个威斯里面呢,存在是个跟那个斯斯是一样的吧,还是一模一样的,OK,那AV里面呢,我们要动的是它一个账户啊,把它打开。
05:08
然后我们拿一下我们那个账号对吧,艾特一下到了张网后。来把这个换掉。然后这个里边还有什么事呢,注意看这。仅仅在JDK1.7的时候需要。你可以安全的什么,把这个移除在1.8级以上的时候吧,哎,这块不移除呢,它不影响操作,但是每次启动的过程当中呢,它都会报一个警告,比较烦,那把这个注释掉。我把这个提前他说了掉,他这边说了吧,如接个1.8的话,安全的移掉对吧,OK,然后还有一个什么呢,最后我看这个地方。
06:01
Manner keep就是说它也是强依赖于什么keep的吧,哎,这个地方是什么呢?它自己有一个。是否启需要启动什么,它自己的一个UK啊,那我们肯定还是用什么。外部的吧,用我们自己那个那。OK,那这个AV这块就配完了,当然这个文档里边也有,就是主要的是改这两块,然后提前给他说了,就是那个刚才那个关于G这1.8那个东西是不是给他注释掉啊,要不然它不影响正常使用啊,但是他会报一个警告,比较烦,这块要注意一下,第二个就是我们要修改的还是被赛里边内容啊拿一下。
07:01
那这个看一下,首先是H点数的点。它也是要存储数据的,是不是。这个地方又指的是数据存在哪?那你是不是依赖于HDFS啊,所以写的是一个HDFS的一个路径,HDFS的一个路径啊,就是存在一个根目录下有一个h base的一个文件夹存在,这对。第二个。这什么?是否启用这个集群吧,啊是否启用集群,那肯定是开启的,然后这个地方是它那个端口。端口号对吧,妈的一个。这是新版本的都16000,你不配也没关系,他默认的新版本之后就是之后都是啊16000OK,然后还有。这个地方刚才我们不是关闭了,它内置的什么。UK了吗?那你要把你自己的UK给它配上了,哎,把自己的K配上,然后是你在UK当中存储数据的一个地址。
08:07
啊,存储数据的地址,你就配你之前这个地方还有印象吗?说明你配的K的那个地址啊,啊,你把它配上就行了,K的一个地址,那我们这些东西啊,就拍完了,拍完之后呢,还有一个什么。明天莫斯吧,哎,威天斯,OK。我们起三个好多102哈多宝103,好多宝104,这里边就不要有什么空格啊空行啊东西了,对吧?啊,比较交汇的一个文件,因为它是给脚本来循环调用的啊,这些东西就不要了,就是干干净净的三个主机啊就OK了,是这样的。那这些东西起完了,我们接下来就起我们的。K加。哈,多宝相关的文件了吧,哎,进程OK,那这里面我有一个那个这个脚本给大家了吧,大家尝试用过吗。能用吗?我给我之前起过是吧,因为之前开过卡。
09:11
这个后面就比较方便,那你学了H之后,你可以把也加进去啊,也加进去以后就直接开,因为KDS都要开是吧,你把加进去呢,你就直接一并开启了啊,一并开启了让他启动,我们说一下这个启动命令。他同样的,首先要分发一下下,然后呢,还有这分发启动服务,你要注意启动服务你要注意注意什么呢?这。你可以单写它也有,我们之前是不是也看到了你了吗?Start杠。还有什么?Stop,杠这吧,那是一个群体,所以说我们刚才配那个什么VSO斯也是为了给群体命令来调用的啊,给群体命令来调用的这块,等我这块要也是一个异常情况看一下。
10:07
这边都启动了是吧。OK,好,然后还有一个操作,就是我们还是依赖于什么。哈度吧,对吧,我们刚才在这个配置文件里面发是吧,配置文件里面指的是h base在HD上存储的目录,对吧,就是说我要存到根目录下,但是你要用哪个就是H用哪个哈多的集群呢?你没有告诉他吧。你需要做的是,就是你需要把他多的那个process等等这些配置文件给它放到。而这辈子当中。H base的一个抗衡目录下,能理解就是为了让h base知道我要用哪个哈集群,那如果说你直接把它CP过来的话,是不是。如果说哈,那边动了文件的话,是不是要动两个地方啊,所以说我们采用的是软链接的方式,软链接的方式将扩HDF,就是跟HDFS相关的一个内容,给它转链接过来啊,给它转链接过来,来一下。
11:10
看一下。没有那个啊,这块我知道什么原因。这个我换行了。换行,然后还有这个东西。等一下,然后还有一个吧。你们也注意一下这块换行了,换行了之后它就有多少命令了。可以先导出来,然后再导一下,当然你要粘的话,你要路径确保跟我一样啊,这是我的路径知道吧,你要路径完全一致的话,你就可以导一下啊,有的人不喜欢改那个名字对吧,那你就改成自己的就OK了啊,或者说你直接CP过来,你说你哈,我这个配置文件不想动了,你直接CP过来拷贝过来也可以了啊,两个方式都可以都行。走一下啊,我们在听到这个L下这个。
12:01
两个软链接的东西就有了吧,纸向的地址,你看一下整个的一个扩散的一个还是了,然后把这个东西看一个怎么着。XXYC,把这个HB分发到其他节点吧,因为我们是一个集群,是不是走。嗯。好,然后我们做一个什么事呢,此时我们之前是不是做了那个。时间同步服务啊,对吧,来我做一个什么事。当前的时间,我这个102应该是我看一下啊。8月7号对吧。这杠S是不是可以设置时间啊是吧。我设置成2018。告零九啊对,要速度等我家,然后我们指定的时间什么。12:12秒,然后加速度是吧。
13:06
速度走当前呢,我们103这个时间就八九号对吧,10104都是。8月7号,8月7号,那接下来我们来取下这个HP相关进程,来看一下CD的HP当中一下。哎,这个东西啊,因为是那个人家出现错误了。就是第一次做的操作是不是。因为做操作因为分成两行,所以它在那边那个本地了啊,连在当前目录了,那我们起一下,首先呢,我们不用那个群体边啊,用一个单体啊单体单体呢就是并。H杠点sh start。好,这看一眼。Master master有了吧,H master有了,OK,那h master这个刚才我们看到的16000端口是吧。
14:08
是不是有一个一万六端口,这个端口是类似于跟9000是平级的是什么。服务端口,服务端口,那它这个外部端口是什么呢?是16010。啊16010,那我们可以看一下。哈度宝102摇号16010,这是外部端口啊这样的,目前他说过妹呢没有等等这些东西都空的,你去看不到这依赖的等等这些情况啊,他的一个是不是没有啊,因为你没有起一个吧,一个咱们起OK,那我们起一个。把当前的102这个提起来还。还同样的杠,demo.sh start reading不一样。好,这边看一眼。HP04有了吧,HP04有了,OK,那再刷新一下这个地方,102是不是上线了呀,对吧,102就来了,好,接下来我们对于103做同样的操作。
15:13
CD OBD model,然后是。到没有什么错对吧,这。在这边等一下发现什么。挂了对吧,那我们看一下他为什么挂了CD,看一下这个什么log,这个文件比较小,直接可以看一下。诶,他这个启动要大了,OK,来看一下找他的这边说什么下线了对吧,下线了,但是我们要找到什么下线原因,下线原因看这。这什么clock out of?
16:00
时钟同步异常吧,时钟同步异常,他说你当前的这个时间啊,两个机器的差距的时间大于它最大的一个允许时间,这最大的这三个五分钟是吧。分钟就说哎太大了,时间差秒秒秒半分钟这个地方。就说明你两个机器之间的时间差距太大吧。哎,这是不允许的,正常呢,这是也就是我们为什么前面要讲那个时钟同步的问题。呃,时候同步的问题,整个大数据集群当中啊,无论你想想看,你发布一个任务的时候,你是不是从某一台机器来发送这个任务啊。你发送过去的时候,是不是携带了当前这个任务的一个时间,他会校验当前那个时间,如果时间相对跟跟差距很大的话,他认为这个时间啊,是过时的一个时间,就认为这个任务已经过时了,他就不会再执行了。
17:00
所以说大数据集群当中呢,他一定要加这种时间要同步了,时间要同步了,加这种集群啊,他直接就报出来了一个错误,那这个错误怎么解决呢?第一它不是有一个什么最大匀时间吗。你把这个调大可以吧,但是不建议这样做是吧?啊不建议这样做,你把这个时间调大,调的比他还大,那他也不好说了,他是因为这个你的两个差距时间超过了这个最大时间了。啊,这是第一种方式,第二种就是。是吧,这个里边有介绍吧,怎么去同步吧,啊怎么去同步,OK,那这一块这个属性配置在这。你加一个这个配置啊,最大的一个时间去配置一下,OK,然后我们这个为了能起来是吧,我把这个时间手动的给他改一下吧。So度,然后。对的,我三台都同步一下,统一下是就改够了,都改杠零七是吧,然后现在是11点,我写34可以吧。
18:07
幺幺冒号34,然后冒号零零走。然后输密码1234。那此时你可以查看一下时间,对。11:34零五是吧,三十四零五,三十四零五啊,这样我们就手动的去同步了一下时间啊,同步一下时间,然后接下来我们起这个服务啊,起这个服务刚才我们是通过一个单起的吧,啊现在它其实有一个群体命令大的S。那写master的时候,和102场V0SOLO的时候,是不是当时已经单起步了吧,所以说他说进程已经存在了,那接下来我们看一下整个的进程是不是都在。然后这个地方呢,啊,你要不放心,就刚才看103的时候,他刚开始也看到了是吧,最后挂了是吧,哎,隔一下再看一眼。
19:05
这两个就不用看了,然后这个地方在吧,啊在就时钟同步了啊,正常的配置文件没有问题,它就可以正常的一个工作,正常工作这整个的一个安装加配置,安装加配置的一个过程。
我来说两句