00:00
好了同学们,那我们既然安装好这个JDK之后呢,那接下来咱们把这个哈豆普给它装一下啊,首先啊,咱们还是先先在102上安装一下哈豆腐,然后呢,咱们利用咱们那个,咱们刚才刚才写那个分发胶本给这个哈杜普分发一下就可以了,那咱们怎么在1022中啊,首先哎,咱们来到哪个位置啊,咱们来到咱们102的这个OPT software目录下,然后在这个底下是不是有一个二哈杜甫啊,那说明咱们的哈多完成包在这个位置,那我要CD这个二了,哎,CD这个二是吧哈杜甫。然后呢,咱们L看一下,那这个哈杜甫313啊,这么一个安装包,就是咱们哈杜普安装包,那因此我要干嘛呀,我要把这个安装包给它解压一下,哎解压到哪呢?咱们给它解压到OBD model下,哎他杠哎ZXVF是吧,卡多普313,然后呢,杠大C到哪个位置啊,到OBD model这个目录下。咱们挑回叉啊,嗯。哎,这个哈,豆腐稍微有点大,大家耐心等待一下好吧,嗯。那它完事之后呢,咱们来到咱们这个OPT摸底这个目录下,然后LL一下,你会发现咱们这个哈杜普313,诶就安装好了,安装好之后我们得需要给这个哈杜普干嘛呀,是不是也配一个环境变量啊,同学们啊,因为咱们这个哈杜普是吧,它有这个B目录,甚至还有目录,那我得把这两个目录给它放到咱们这个pass里边去,那怎么可以这样,是不是还是加修度啊,修度VETC,然后呢,Pro fa.D有一个MY音V,然后咱们点一个O,哎,那在这个位置是吧,咱们要把咱们这个哈杜甫的这两个目录给它加到咱们这个环境变量里边去,哎,点个粘贴,然后你发现咱们定义了home,然后呢,把这个B跟都给它追加到了这个pass里边去,然后呢,咱们这个WQ保存保存完事以后呢,你可以S一下。
01:48
好吧,你可S一下怎么啊,咱们点咱们这个地方,So so source,咱们这个AC,然后呢,Profile,那这个时候你再敲哈杜甫是不是就能够正确的识别了,那就比如说这个时候我来一个哈杜甫,然后呢,Version vrs,只要你能看到哈杜363,哎,那基本上说明这个哈杜甫以及这个环境变量是没有问题的。
02:13
那我们这个时候注意了啊,我们还不要分发,为什么呀?因为咱们这个哈杜甫咱们是不是要配置一个完全分布式的集群呢?哎,那这个哈杜普的完全分布式集群咱们怎么搭建啊,是不是咱们需要这个配置点免密登录已经配置好了是吧?那么还需要干嘛呀,还需要这个修改集群配置啊。在咱们这个卡杜普里边是吧,它有这么几个配置文件,有这四个set,大家应该还记得吧,有这个Co set,哎,有这个什么呀,有这个hdf set,还有这个雅n set,哎,甚至还有一个map red set,哎,那如果你想群体集群的话,是不是咱们还有一个这个workers啊,所以说咱们接下来在分发之前我先干嘛呀?在分发之前我先把你这几个配置文件通通给你写好,那咱们将来一起就给它分发过去了,因为咱们直接部署的就是这个完全分布式,这个大家应该知道啊,那我们这一块怎么改啊,那们直接快速的改一下就好了,那我首先我得来到哪个位置啊,咱们得来到咱们这个哈杜普的ETC,然后有一个哈杜普这个位置下,诶,在这个步骤底下,是不是存放的这个哈杜普的所有的配置文件啊。
03:21
然后呢,咱们第一个是吧,先改这个扣site,那我直接就是VM,哎,Co site在这个里边是吧,它有一个configuration这个标签,但是这个标签底下没有任何东西,那咱们要把咱们这个修改的内容咱们给他拿回来,咱们需要改什么东西啊,哎,大概就是这么几个是吧,我把我这个所有要改的配置文件配置已经给你放在这个里边了啊,我我们快速的来看一下啊,咱们点个复制,然后来到这个位置是吧,粘贴你会发现咱就给它粘过来了。那有那基本上有什么参数啊啊,第一个是吧,就是咱们指定了这个内no的一个内部连接地址,咱们用的是这个8020这个端口号,注意啊,这是一个内部的通信地址,好吧,然后呢,指定一下它这个数据的存储路径,然后呢,给他配置的几个这个这个这个这个这个这个账号,首先第一个就是这个网页使用的这个账号,包括还有几个这个允许艾特硅谷的这么一个代理访问节点是吧,就保证咱们艾特硅谷这个账号是具备所有的权限的。
04:19
那把这些配好之后呢,咱们给他WQ保存,那然后咱们还要修改另外一个是吧,就是咱们这个hdf site啊,在这个里边也还是找到这个configuration,然后点一个I,然后呢,把咱们这个hdfs site这个配置文件给它拿过来,那在这个里边咱们就配置了两个,哎,一个叫什么呀,一个是这个name node,它一个web端的防地址就是9870,是怎么将来在浏览器这一块,哎,要用这个9870个端口去访问咱们的这个name no的就是咱们的HDS啊。然后咱们的2N呢,就是那个second内呢,是这个9868,哎,我把你这个2N给你放在了104上面,哎是这样的,那然后完事之后呢,咱们可以WQ保存了,保存完以后呢,咱们还有一个什么呀,是不是还有个牙S,哎,就亚S是控制咱们这个牙的信息的,那我把这个注释删掉,然后点一个I是吧,然后呢,把咱们这个颜S这个配置给它拿回来,注意啊大大家要细心一点,不要复制错了,因为我这个文档里边已经有了configuration,所以说我在这个地方,我只需要复制这几个property就可以了,你来这个位置是吧,你这个粘贴,然后你会发现咱们这几个property也都空,也也都给设置好了,哎,第一个参数是指定咱们这个mmr要走沙Le,那第二个要指定一下咱们这个雅的老大,就是resource manager,它在103上是吧,然后呢,要继承一堆这环境变量。
05:40
然后呢,你要设置一下咱们这个牙的容器,它的一个最大最小内存,哎,咱们这个最小是512兆,哎,然后最大是4096啊,这就是四个G,四个G是这样的,然后呢,我管理的物理内存也是四个G,然后呢,还关掉了这个雅安的这么一个虚拟内存的一个检查限制,哎,那把这些都改好之后呢,那咱们就可以WQ保存了啊保存了然后咱们还有最后一个就是那个map right set在这个里边,咱们只需要写一个就可以了,写什么呀,指定一下咱们这个MAP6它的一个运行位置,运行在哪啊?哎,运行在这个雅安上,咱们要指定咱们这个MAP6的程序要跑在这个牙的上面,然后呢,咱们就可以WQ保存了,保存好以后是吧,因为咱们将来要群起咱们这个。
06:29
哈杜腐,那我肯定我得给它配一个worker文件,要不然我不知道起几个data not,那因此我的某我VM这个worker斯在这个里边呢,你把这个local赫S你再干掉,然后咱们点一个I插入,然后呢,哈杜甫102,诶哈杜甫103,咱们再来一个哈杜甫104,那就说明咱们这个集群一共有三台机器是吧?注意了啊,这个配置文件你不要加空行,后边也不要加空格,就上下无空行,左右无空格,要不然它会报错的,能理解吧,就比这个四后边千万不要加空格,那然后呢,咱们WQ保存。
07:11
那这样一来,咱们这五个配置文件就改好了,那这五个配置文件改好之后,哎,正常情况下你就可以分发了,分发启动了,但是咱们还缺两个东西,那两个东西啊,一个就是这个历史服务器,一个是咱们那个日志的聚集的功能,那咱们直接把这两个功能也给它加上,加上以后咱们再来分发就直接相于全部搞定,就全部把这个哈杜甫的所有的配置文件搞好之后呢,咱们最后给他来一次总的分发就可以了,那我未来要配置成历史服务器是吧,我是不是需要在这个my site里边加一些参数啊,那不加一下这个历史服务器的这么一个地址,以及这个web地址。哎,然后呢,咱们给它加一下好吧,咱们把这两个property给它复制一下,然后呢,咱们打开咱们的这个map set,刚才只配置了一个,然后你这时候你要点一个O,诶,然后在在这个位置是吧,我点个粘贴,就是我在我这个map的参面又加了两个,然后呢,咱们这个WQ保存,那把这个历史服务器的这个两个参数也配好之后呢,那咱们接下来。
08:14
接下来是不是可以配置一下这个日志的聚集的功能啊哎。这个东西也要配一下啊,那我怎么怎么配啊,是不是在这个芽菜那里边再加上三个参数啊,第一个就是开启这个牙安的日志聚体功能,第二个就是设置一下你这个日值日志给它聚集到哪儿,咱们给它放到历史服务器上,哎,第三个就是设一下咱们这个牙的日志,它的一个保留时间咱们为七天,也就是说这三个参参数要给它拿过来复制,拿过来之后呢,咱们直接给他VM雅安是吧,雅安杠S,咱们给他来一个雅安杠赛,然后呢,来到咱们这个最后哎,我点一个O是吧,咱们给这个粘贴,那这样一来咱们这个日志的聚集也搞定了,搞定之后呢,直接WQ保存,那现在是吧,咱们关于咱们哈杜普的这个配置就通通搞好了,搞好之后干嘛呀,一定要把咱们这个哈多普给它分发一下来到咱们这个OPT model这么一个目录底下是吧,然后呢,咱们把咱们这个哈杜313这个目录给103,哎,发一份,然后给104也发一份,那怎么发呀X。
09:20
SYC哈杜363,哎,再给他发过去就可以了啊,那这样一来就是咱们这个哈杜甫集群的搭建啊。相信这个上古上古谷的是吧,股粉们对这个已经非常熟悉了啊,所以这一块我就我就不再详细讲解了,咱们这个做的比较快一些啊。这个文件有点大,大家需要耐心的等待一下啊,等到发完之后呢,咱们是不是就可以启动咱们这个哈杜甫了啊,哎,那这样一来咱们这个哈杜甫发过去了,然后呢,诶,然后你要把咱们的那个hard home你给他发,发一下怎么发呀,修do xc是吧,那么来个AC,然后有一个什么pro。
10:04
点D,然后卖EV,因为咱们跟咱们刚才在102的这个目录底下,咱们写了一个哈home,你写完之后呢,你要给103104发一下,让咱们给他发过去,发完之后呢,咱们要给它三个框框SS一下,点个工具,诶点一个发送键,输入到所有会话是吧,咱们来一个什么呀,咱们敲一个哈杜ver vsl是吧,你这三个框框你都敲一个,诶这个敲错了啊,注意啊,这个东西我们得删掉,重新来吧。咱们把这三个是吧,都删删干净了,删干净之后呢,咱们直接敲一个哈杜甫。沃森,哎,你看你这三台机器能否都看到这个哈杜普313。注意啊,他这个没有找到,同学们看好了啊,现在现在这个103104没有找到,那没有找到说明不行啊,哎,不行肯定不行啊,我们是不是没有发过来啊,刚才。
11:02
我来检查一下吧,啊,咱们来到103上是吧,咱们来一个hard豆,它没有没有,那我看一下你是否有那个home,那去哪去哪看啊,那个修do你的vim ETC,咱们有一个pro.D,然后卖音V他已经过来了。过来之后不应该没有啊,咱们是不是没有S成功啊,那这样,那我就那我就单独再给他S一下,So so source ETC是吧,咱们来一个profile,咱们给他S一下,那这个时候我再来一下这个hard version,哎就就可以了,哎,刚才应该是没有S成功啊,那这样我的我的104上再给他S一下,哎,S完成之后呢,你再给他敲一个哈沃,哎,那就说明咱们这个102 103 104这三台的这个哈home都配置好了,那你一旦把这个环境变量也配置好之后呢。那咱们就可以启动卡杜普,同学们启动哈杜普,那怎么启动啊,那咱们是不是有这个群起脚本啊,哎,如果你想其中其中好多五了是吧,有单起,这就属于单起。
12:05
那我想群体怎么怎么想,咱们是不是在这个102上,咱们给他来一个DFS啊,啊,在103上给他来一个S雅安,然后呢,咱们还要去到102上再给他开启一下这个历史服务器啊。哎,就是map的杠DEMO,那我们这样还是比较麻烦,这个群体脚本我也瞎麻烦,那我是不是最终给大家写了一个最终的脚本啊,哎,有一个最终的脚本叫什么呀,叫MY哈杜福点谁在这个脚本里边,你看我怎么写的呀,我是不是如果你在我这个脚本的后边传一个start,我会对这个进到对应的目录里边,先起HTS,再起雅安,再起历史服务器啊,如果你给我传slo呢,那我就先关历史服务器,再关雅安,哎,再关这个HS,所以说啊,把咱们这个MY哈点SH这个脚本拿过来,咱们用这个脚本来启动咱们这个哈杜普就可以了,那咱们这个脚本是吧,我先给它复制一下,复制然后呢,CD叫咱们这个加目录在这个里边,我CD这个B目录,然后呢,我vim一个什么呀,MY哈杜甫哎,MY哈杜腐点SH,咱们点一个I哎,然后粘贴,然后呢WQ保存。
13:14
保存完事之后,你要给这个MY哈,杜腐点SH是不是加一个执行权限啊,哎,咱们给它加一个执行权限,然后呢,我就可以用我这个MY哈多点A给它开启一下了,你看看咱能否把这个HS雅安还有这个历史服务器都给它开启来好吧,诶。注意了,咱们开第一次开启是不是忘记忘记一件事啊,咱忘了个东西啊,这是应该开不起来,为什么呀,咱们没有那个格式化没不弄了,同学们啊,这次咱我们第一次开就开了,你发现它应该是有问题的,为什么呀,因为咱们第一次启动,哎是需要这个干嘛呀,如果集群是第一次启动,呃,需要格式化内蒙动的,因此啊,咱们刚才这个忘记格式化能弄了,哎我来等等他一会儿吧,他提实成功了,那真的成功没有啊,咱们通过这个勾再看一下,你会发现是吧,咱们这一块还有另外一个脚本,什么脚本,就是那个GSO啊在咱们这个编目录下,我再给你VM一个脚本,叫什么呀?叫叫叫这个GPSO是吧,通过这个GPSO,咱们可以进到三台机器,然后查看你这三台机器的这个Java进程,这个大家应该都知道啊,这个脚本是吧,这个股粉肯定知道,因为这个硅谷的老师特别喜欢用这个脚本,哎,我们是不是去到这三台机器上,然后执行这么一个AC命令啊,然后执行这个勾是吧,然后呢,咱们这个WQ保存,然后呢给咱们这个。
14:36
给这个加X,给咱们这个GPSL也加个序权限,然后呢,你执行GP号,你发现咱们这个内部动没起来,为什么呀,因为咱没有格式化,没有格式化肯定起不来,那因此呃,我先把你这个哈多普给你关掉,关掉之后哎,我格式化一下,哎,注意啊,咱们格式化之前,我得先把那个data塔目录给它删掉,要不然它也不行啊,就因为一正因为他们第一次没有格式化,你就启动了,所以这个时候它应该会在会在每台机器上生成对应的那个date date目录,那为了保证咱们这个集群的date是干净的,所以说我得我得先给它删掉看好了啊同学们啊,同学这块不会动,为什么?因为咱们刚才没有格式化内密动呢,你就起了,这样一来会导致什么问题啊,会导致咱们102的这个313下边是不是有个data塔。
15:21
这个data塔就是咱们刚才起DN生成的,有一个data塔,有一个log,那干嘛呀,给它删掉看看了啊,RM-rf data塔把这个data塔删,呃删了,还有呢,这个logs也要删掉,那这样一来咱们这个哈豆才正常啊,才才恢复到了咱们那个初始的界面,那103也要这样做一下,好吧,来到咱们这个103的这个哈底下啊,你干嘛呀,你RM-RF,然后data,然后呢,有一个log再给个删掉,然后104咱们也删一下,那这个时候是吧,我CD我的哈度363,那这个时候你发现104也有个data塔跟一个logs,咱们也给它删掉,RM-RF,然后data塔,然后呢,有一个logs删干净之后,注意了,同学们这个时候不要急着用脚本起了,先干嘛呀,先在102上面给它格式化一下内note。
16:12
啊,HDFS内弄的杠杠否问一下,这是这个是格式化内的一个命令,咱们先把这个给它格式化一下,它这么一格式化是吧,很快它会提示你格视化成功了。那格式化成功之后呢,那咱们这个时候诶,再执行这个MY哈的SH,咱们再来启动一下咱们的哈杜,咱们这个433这个进程应该就正常了啊。哎,因为咱们刚才清除了,它会提示你上面没有logs,没有logs,我要重新建一下啊,重新这个给他这个创建一下,嗯。诶,那这个时候是吧,咱们再利用这个勾PS2看一下,你发现咱们这个name notde,诶就起起来了是吧,一个name notde,然后呢,三个data notde,然后这个有一个result manager,然后我有三个什么呀,Note manager,呃,再再加上我这个2N是吧,还有一个什么呀,还有一个job job history serve,哎,那这样一来,我这个433这么一个架构就形成了我这么一个完整的哈豆集群,好吧,那这个哈杜普的安装和启动我就讲到这里啊。
我来说两句